LLM Data Evaluation Engineer

Опыт работы: 3–6 лет. Занятость: полная. График: 5/2. Рабочие часы: 8. Формат работы: на месте работодателя.

Обязанности:

• строить и развивать систему оценки качества LLM, RAG и агентов: тестовые наборы, метрики, автоматические прогоны, отчёты;
• проводить регрессионное тестирование в CI при смене моделей, промптов и настроек, контролировать качество перед релизами и показами;
• оценивать агентов по траекториям: успешность задач, ошибки вызова инструментов, лишние шаги;
• калибровать автоматическую оценку (LLM-as-a-judge) против экспертной разметки;
• строить пайплайны обработки документов: PDF, сканы, OCR, таблицы, восстановление структуры;
• готовить датасеты для дообучения, включая синтетические данные и траектории вызова инструментов.

Требования:

• от 3 лет в Data Science, Data Engineering или ML, из них не менее года с LLM-проектами;
• опыт построения с нуля системы оценки качества LLM или RAG;
• знание метрик поиска (recall@k, MRR, nDCG) и метрик ответов (faithfulness, полнота, корректность);
• опыт оценки агентных систем или многошаговых сценариев;
• прикладная статистика: доверительные интервалы, значимость различий, размер выборки;
• опыт обработки реальных документов в продакшене, включая OCR;
• Python на уровне production-кода, уверенный SQL;
• оркестрация пайплайнов (Airflow, Prefect, Dagster или аналоги), версионирование данных и трекинг экспериментов (DVC, MLflow или аналоги).

Будет плюсом:

• работа с юридическими, нормативными или канцелярскими текстами на русском языке;
• классический NLP: NER, классификация, извлечение сущностей;
• опыт с русскоязычными бенчмарками;
• работа с персональными данными по 152-ФЗ;
• Elasticsearch, OpenSearch, векторные базы данных.

Условия:

• гибридный формат работы (м Кутузовская);
• ежегодный пересмотр зарплаты, годовой бонус;
• корпоративный спортзал и зоны отдыха;
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития;
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ;
• подписка Прайм с возможностью совместного использования на трёх близких;
• вознаграждение за рекомендацию друзей в команду Сбера;
• корпоративная пенсионная программа.