Команда ML в продукте OneRec в Директе создаёт систему замера эффекта — инфраструктуру, которая разбивает общий прирост от всех рекомендаций на вклад отдельных изменений в продукт. В основе системы — граф метрик. Он связывает локальные воздействия с юнит-экономикой через причинно-следственные связи. Также есть масштабная платформа с экспериментами.
Ищем техлида. Работа с инфраструктурой графа метрик, превращение методологии в работающий пайплайн, распределение задач между разработчиками, обеспечение технической надёжности всех ML-процессов команды.
Команда состоит из нескольких разработчиков. Стек: Python, SQL, Airflow, MapReduce, BI-системы, VCS.
Задачи
- Развитие инфраструктуры графа метрик: работа с пайплайном оценки весов рёбер, реализация прямого и обратного прохода, валидация версий графа, контроль качества связей, настройка CI для релизов.
- Руководство разработкой: разбиение задач по проектам, проверка решений, помощь новым разработчикам в адаптации, распределение нагрузки.
- Платформа экспериментов: развитие модулей pruning/winsoring и sanity checks, системы расчёта доказанного эффекта, поддержка работы платформы.
- Инфраструктура и техдолг: перемещение процессов между кластерами, поддержка квот, перенос кода, обеспечение стабильности пайплайнов и качества данных.
Требования
- Опыт проектирования пайплайнов обработки данных
- Опыт работы с MapReduce, Spark
- Владение Python и SQL
- Уверенное владение системами контроля версий
Плюсом будет
- Опыт работы с CI/CD для ML-пайплайнов
- Знание основ причинно-следственного анализа
Условия
Яндекс — это комьюнити. Есть спортивные клубы, книжный клуб, киберспортивное сообщество.
Skillfactory
Яндекс Практикум
Нетология