Аналитик-разработчик мультимодальных моделей
Наша команда оценивает качество модели Alice AI VLM, ищет точки роста, улучшает данные для её обучения. Мы работаем над созданием агентной системы, которая повысит качество ответов Алисы: хотим научить её рассуждать, а также вызывать тулы.
Задачи
- Исследование опенсорсных и создание собственных бенчмарков
- Анализировать, применимы ли бенчмарки для агентных VLM (GTA, ToolVQA, TIR-BENCH) к нашим продуктовым сценариям, и выявлять пробелы в покрытии
- Разрабатывать бенчмарки, отражающие реальные пользовательские запросы к Алисе, с фокусом на multi-image-сценариях, цепочках рассуждений и вызовах тулов
- Декомпозиция проблем и поиск точек роста
- Детально разбирать ошибки модели на сложных запросах: строить таксономию типов ошибок и измерять вклад каждого класса в общее качество, чтобы приоритизировать направления улучшения
- Создание пайплайнов генерации данных
- Разрабатывать масштабируемые пайплайны создания обучающих данных для reasoning- и tool-use-сценариев
Требования
- Занимались аналитикой больше года
- Уверенно владеют Python и SQL для глубокого анализа данных
- Активно применяют генеративные модели в работе и/или повседневной жизни
Условия
Мы предоставляем полный набор, который поможет уберечься от тревожности и выгорания: ежегодные медицинские чекапы, йога и психотерапия.
Яндекс Практикум
Skillfactory
Нетология