Vibecode-специалист по веб-скрапингу и извлечению данных

OpenTrain AI ищет специалиста по веб-скрапингу и извлечению данных на part-time контракт (от 20 часов в неделю). Работа доступна по всему миру, требуется свободный английский не ниже B2. Оплата $20 в час в USD.

Задачи

• Полный цикл веб-скрапинга и извлечения данных: сбор структурированных данных со сложных сайтов, включая страницы с загрузкой через JavaScript, AJAX или бесконечную прокрутку.
• Комбинирование Python-скриптов с инструментами Apify и OpenRouter.
• Использование AI-агентов для повторяющихся шагов, устранение сбоев, проверка результатов, обработка нестандартных случаев и приведение данных к нужному формату.
• Извлечение данных из многоуровневых структур сайтов: категории, сущности, страницы с деталями.
• Создание и поддержка Python-скраперов с использованием BeautifulSoup, Selenium, Playwright или аналогов.
• Построение устойчивых рабочих процессов с селекторами, резервными методами, повторными попытками, пакетной обработкой и параллельной обработкой.
• Очистка, нормализация и валидация данных перед передачей.
• Передача структурированных наборов данных в форматах CSV, JSON и Google Sheets.
• Использование LLM и других AI-инструментов для промптинга, автоматизации и поддержки извлечения данных.
• Документирование пограничных случаев и контроль качества AI-ассистированных процессов.

Требования

• Опыт от одного года в веб-скрапинге, инженерии данных, разработке ПО, автоматизации или анализе данных.
• Уверенные навыки веб-скрапинга на Python и опыт работы с динамическими сайтами или сайтами с интенсивным использованием JavaScript.
• Опыт работы с иерархическими структурами сайтов и изменяющимися макетами.
• Умение очищать, нормализовать, валидировать и форматировать извлечённые данные.
• Свободный английский не ниже B2, способность следовать детальным спецификациям и документировать пограничные случаи.
• Знакомство с LLM или AI-инструментами для ускорения технических процессов.

Условия

• Part-time контракт, от 20 часов в неделю.
• Удалённая работа, открыта для кандидатов по всему миру.
• Оплата $20 в час в USD.
• Уровень: intermediate.