Активных и заинтересованных аналитиков

Аналитик-разработчик претрейна Alice AI LLM

Наша команда занимается аналитикой претрейн-модели Alice AI LLM, которая лежит в основе Алисы, Поиска и многих других продуктов Яндекса. Наша цель — улучшать модель, решая множество прикладных задач, постоянно мониторить качество со всех сторон и не терять ничего важного. Для этого нам нужна система надёжных и разносторонних метрик (бенчмарков) — такими метриками и занимается наша команда. Ищем активных и заинтересованных аналитиков.

Какие задачи вас ждут:

• Создание метрик качества претрейна Наша главная задача — всесторонне оценивать качество претрейн-модели. Перед нами часто возникают новые интересные задачи: как оценить агентские способности модели на этапе претрейна; как замерить, хорошо ли модель будет работать на задачах от разных сервисов Яндекса; хорошо ли наша модель с высоким сodeforces-рейтингом будет писать код для пользователей; как правильно принимать эксперименты на моделях разных размеров.

• Интерпретация результатов экспериментов Команда разработки проводит много экспериментов и делает выводы на основе наших метрик. Иногда результаты бывают неожиданными или противоречивыми, в этом случае задача аналитиков — помочь разобраться, что произошло.

• Анализ точек роста Всё ещё остаются сложные задачи, с которыми наша модель пока не справляется на должном уровне, но мы стараемся выбрать из них самые перспективные, разобрать проблемы и вместе с командой разработки придумать план решения.

Мы ждём, что вы:

• Работали над метриками в NLP
• Уверенно владеете SQL и Python
• Умеете анализировать данные, строили эффективные процессы их обработки

Будет плюсом, если вы:

• Работали над LLM
• Строили агентские системы
• Делали крауд-разметки с системой контроля качества

ДМС Яндекса действует с первого месяца работы. Причём получить плановую или неотложную помощь можно и за рубежом.