Data Scientist — ML-метрики и оценка качества

Формат работы: удалённо. Занятость: полная, график 5/2, 8 рабочих часов в день.

Чем предстоит заниматься:

• Проектировать методологии оценки качества ML-моделей и рекомендательных механик: офлайн- и онлайн-метрики, их связь с бизнес-метриками.
• Переводить потребности бизнеса в DS-постановки, формулировать гипотезы, целевые и guardrail-метрики, ограничения, критерии успеха.
• Разрабатывать методологию разметки: ТЗ и инструкции для разметчиков, правила для пограничных случаев, golden sets, контроль согласованности, аудит качества разметки.
• Готовить ТЗ на сбор и упаковку наборов данных.
• Разрабатывать дизайны и анализировать результаты тестов ML-решений в продукте.
• Формулировать и имплементировать методологии оценки качества данных.
• Вести исследовательскую аналитику, находить инсайты в данных и в поведении ML-систем.
• Отвечать за отчётность и логирование ML-метрик: определять формат релизных отчётов, обязательный набор метрик, сравнение с baseline.
• Определять дизайн оценки качества, формировать драфт задач для ML-инженеров и описывать, что и как должно быть реализовано, чтобы качество можно было корректно измерить.

Требования:

• От 3 лет коммерческого опыта в Data Science или ML-аналитике, включая реальный опыт оценки моделей, работающих в проде.
• Глубокое понимание метрик ML: классификация, детекция, сегментация, ранжирование.
• Уверенные теорвер и матстат: проверка гипотез, доверительные интервалы, бутстрап, мощность теста, методы снижения дисперсии.
• Классический ML на табличных данных (бустинги, линейные модели): умение анализировать поведение модели, её ошибки, калибровку, важность признаков.
• Python (pandas, numpy, scipy, sklearn, Jupyter).
• Умение писать компактные и внятные отчёты с выводами, ТЗ и инструкции.
• Умение задавать правильные вопросы и докапываться до сути постановки.
• Крайне желательно: опыт оценки рекомендательных систем.
• Высшее техническое или математическое образование.

Будет плюсом:

• Опыт в модерации контента, антифроде или trust & safety.
• Опыт организации разметки (Toloka, Label Studio, in-house асессоры), active learning, human-in-the-loop.
• Causal inference и квазиэксперименты.
• LLM-as-a-judge и использование LLM в разметке.
• Опыт с experiment tracking (MLflow, ClearML).