Руководитель аналитики приёмки LLM-моделей

О команде

Алиса — один из самых популярных ассистентов в России, которым ежедневно пользуются миллионы людей. Команда развивает качество ключевой LLM-технологии компании: работает над тем, чтобы модели становились умнее, полезнее и надёжнее.

Задачи

• Приёмка моделей: полностью вести приёмку новых версий моделей, определять, какие замеры нужны для конкретного релиза, запускать оценки, объединять результаты и готовить заключение о качестве модели.
• Развитие системы метрик: определять обязательные сигналы, объединять разные оценки в общую картину, рассчитывать статистическую значимость и отличать настоящие изменения от случайного шума.
• Работа с данными и инструментами приёмки: отвечать за оценочные наборы, определять их состав, следить за покрытием важных сценариев, управлять версиями и обеспечивать воспроизводимость замеров; развивать инструментарий: создавать автоматические оценщики на базе LLM (LLM-as-a-judge) и применять гибридные методы.
• Управление командой и процессами: собрать команду аналитиков приёмки, распределять направления работы, наставничать и планировать ресурсы.

Требования

• Управление командой аналитиков не менее двух лет.
• Любовь к работе с данными и умение извлекать из них практический результат.
• Знание матстата и тервера.
• Умение писать код на Python и знание алгоритмов.
• Умение формулировать обоснованное заключение и защищать его перед заказчиками в условиях неполных данных.

Условия

Предоставляется полный набор, который поможет уберечься от тревожности и выгорания: ежегодные медицинские чекапы, йога и психотерапия.