Data Scientist (Модели оценки качества), Диалоговый ИИ и ML сервисы
Компания: OZON
Вы будете
- Погружаться в особенности создания наших проектов
- Быть частью центра принятия решений о релизе моделей
- Создавать и улучшать процессы вокруг оценки ML-решений
- Проводить аудит поведения всех типов моделей отдела
- Заботиться о качестве артефактов для построения и оценки моделей
- Работать с LLM и LLM apps
- Разрабатывать решения для реалтайм анализа динамики ведения диалога агентами с пользователем
- Создавать инструменты для автоматической валидации решений на основе LLM (в том числе симуляции взаимодействия с агентами)
- Прототипировать ML-решения для проверки гипотез о влиянии на метрики
- Задавать стандарты в оценке поведения и качества ответов агентов
Нам важно
- Опыт работы Data Scientist от 3х лет
- Опыт работы с NLP от 2 лет
- Практический опыт проведения процедур оценки LLM-решений
- Опыт работы с агентами для консультации пользователей
- Понимание ограничений LLM
- Умение писать продакшн-код
- Подготовка понятных отчетов
- Умение объяснить сложные метрики понятным языком
Нетология
Skillfactory и МГУ