ML-инженер по данным, Vision
Команда Multimodal Data (Vision) отвечает за данные для визуальной части GigaChat после претрейна: SFT и DPO. Модели — от десятков до сотен миллиардов параметров. Результат измеряется на открытых мультимодальных бенчмарках: OCRBench v2, OmniDocBench, MMMU, MathVision, Point-Bench и других.
Инфраструктура: хранилище данных с git-версионированием и выгрузкой на YTsaurus, замеры в lmms-eval с автоматическим разбором ошибок модели по доменам и субтаскам, краудсорсинговая платформа TagMe и внутренние эксперты-разметчики, модели-учителя для генерации данных и в роли LLM-судей.
Обязанности
- Собирать данные под конкретные бенчмарки и доказывать их эффект: разбирать дампы замеров по субтаскам, находить, чего модели не хватает, собирать данные в формате замера и измерять результат. Например, под OCRBench v2 данные собираются по каждой из 23 подзадач отдельно, от распознавания формул до таблиц в HTML.
- Генерировать синтетику, переписывать ответы моделями-учителями и проектировать цепочки пошаговых визуальных рассуждений. Рендерить русские документы, таблицы, формулы и рукописный текст с точной разметкой (LaTeX и HTML → PDF → картинка), генерировать вопросы и ответы открытыми моделями-учителями, отсеивать брак автоматическими проверками и LLM-судьями.
- Строить DPO-пары: «плохой» ответ берётся из ошибок модели (галлюцинации, зацикливание в длинном OCR, сломанный формат), «хороший» — исправленный и проверенный. Под каждый тип дефекта своя корзина пар, без смещения по длине ответа.
- Проектировать разметку: инструкции, контрольные задания и агрегация для крауда на TagMe и для внутренних экспертов, SBS-сравнения моделей на реальных запросах пользователей, проверка LLM-судей людьми.
- Контролировать чистоту данных и развивать платформу: автоматические пайплайны дедупликации документов, определение утечек тестовых сетов, работа с git-версионированием, конвертерами в формат обучения с тестами, выгрузками на YTsaurus и валидацией в Airflow. Дашборды состава датамикса с автоматическим диффом двух версий SFT или DPO, загрузка открытых датасетов и проверка эффекта отдельного источника LoRA-дообучением с замером на бенчмарках.
Требования
- Не меньше трёх лет готовили данные для обучения или оценки ML-моделей: сбор, фильтрация, дедупликация, разметка. Понимание, как SFT и DPO данные влияют на модель.
- Уверенное владение Python (PyTorch, Pandas/Polars, Asyncio для пакетных запросов к API) и SQL, понимание базовых концепций распределённого обучения.
- Опыт работы с большими языковыми или мультимодальными моделями (VLM, Vision Transformers) и библиотеками Hugging Face.
- Использование LLM/VLM как прикладного инструмента: автоматическая фильтрация, генерация синтетики, пайплайны с LLM-судьями, проверка судей людьми, контроль стоимости и пропускной способности.
- Сильная математическая и статистическая культура: знание про дисперсию и шум бенчмарков, согласованность разметчиков и парные сравнения, умение отличать рост метрики от утечки теста.
Будет плюсом
- Опыт с мультимодальными моделями: VLM, OCR, понимание документов; знакомство с lmms-eval или похожими фреймворками замеров.
- Проектирование краудсорсинговой разметки (TagMe, Toloka): инструкции, контрольные задания, агрегация.
- Эксперименты по эффективному дообучению (LoRA, QLoRA, PEFT) на GPU-кластерах.
- Работа с распределёнными хранилищами и Big Data инструментами: YTsaurus, Spark или ClickHouse на сотнях миллионов строк и с Airflow.
Условия
- крупнейшее DS&AI community — более 600 DS-специалистов банка
- дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира
- возможность быть соавтором НИРов и статей для международных конференций
- возможность выбрать удобный формат работы: гибрид или офис
- ежегодный пересмотр зарплаты, годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- ипотека выгоднее до 7% для каждого сотрудника
- бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
- вознаграждение за рекомендацию друзей в команду Сбера