Senior Anti-Bot / Scraping Engineer
Компания Adthena — платформа поисковой аналитики, использующая запатентованные AI-технологии. Клиенты — глобальные бренды, включая Citibank, L'Oréal и Volvo. Компания основана в 2012 году, поддерживается Updata Partners.
О роли
Роль: Senior Anti-Bot Engineer. Подчинение: Michal Gondar, Head of Engineering. Локация: UK Remote. Этапы интервью: 2 этапа. Дата начала: как можно скорее.
Вы будете проектировать, создавать и эксплуатировать крупномасштабные отказоустойчивые системы веб-скрапинга с сильным фокусом на Google и подобные поисковые среды. Роль находится на стыке data engineering, reverse engineering и надёжности систем. Вы будете работать над сложными задачами скрапинга, включая динамический рендеринг, защиту от ботов, частые изменения разметки и сбор данных в больших объёмах. Компания активно использует инструменты AI для кодинга; роль подойдёт тем, кто верит в агентный кодинг и хочет улучшить свои навыки.
Задачи
- Проектировать и поддерживать крупномасштабные системы скрапинга на Python, работающие надёжно против Google и других хорошо защищённых сайтов.
- Создавать скраперы для динамических страниц с большим объёмом JavaScript, используя браузерную автоматизацию и гибридные подходы.
- Постоянно адаптироваться к изменениям структуры страниц, потоков запросов и механизмов анти-автоматизации.
- Разрабатывать надёжные пайплайны извлечения данных с приоритетом точности, согласованности и наблюдаемости.
- Внедрять стратегии прокси, фингерпринтинга и маршрутизации запросов для максимизации стабильности и пропускной способности.
- Мониторить здоровье скрапинга, рано обнаруживать сбои и быстро отлаживать проблемы в продакшене.
- Оптимизировать производительность, стоимость и задержки инфраструктуры скрапинга.
- Тесно работать с data-инженерами, data-сайентистами и продуктовыми командами, чтобы собранные данные были пригодны и надёжны.
- Документировать логику скрапинга и операционные runbook'и для долгосрочной поддерживаемости.
Требования
- Сильный профессиональный опыт работы с Python (или другим основным языком, например GoLang, Rust, JavaScript), включая production-grade системы скрапинга.
- Глубокий практический опыт скрапинга Google или аналогичных защищённых платформ.
- Твёрдое понимание HTTP, TLS, cookies, заголовков, редиректов и сетевого поведения браузера.
- Опыт работы с инструментами вроде Playwright, Selenium, Puppeteer или эквивалентными фреймворками браузерной автоматизации.
- Сильное знание парсинга HTML, обхода DOM и техник извлечения данных.
- Опыт работы с rate limiting, CAPTCHA, ротацией IP и системами обнаружения ботов.
- Комфортная работа с асинхронной и конкурентной архитектурой скрапинга.
Условия
- Удалённая работа (Remote-First).
- Стартап-культура в инжиниринге.
- Опционы.
- Отпуск по доверию (неограниченный).
- Гибкий график.
- Карьерный рост через индивидуальные планы развития.
- Ежемесячные хакатоны и дни обучения.
- Пакет поддержки семьи: до 6 месяцев полностью оплачиваемого отпуска по беременности и родам, 2 месяца отпуска по уходу за ребёнком.
- Стипендия на домашний офис: $200.
- Приветственный набор мерча: $70.
- Выходной в день рождения.
- Регулярные социальные мероприятия.
- Дни волонтёрства с оплатой.
