CV/ML-инженер по данным претрейна
GigaChat увидит мир через данные, которые соберёте вы.
За GigaChat стоит одна из крупнейших ML-команд в России, которая обучает LLM и VLM полным циклом — от претрейна до релиза. Команда отвечает за данные: сбор визуального корпуса претрейна — поиск источников, фильтрация и дедупликация сырья, эксперименты и замеры влияния на бенчмарки. Состав и качество претрейн-данных определяют финальный результат.
Обязанности
- Ставить эксперименты: формулировать гипотезы, какие данные и в каких пропорциях улучшат модель, и проверять их: продумывать сетап и бейзлайны, запускать обучающие прогоны, по замерам решать, что попадёт в финальную смесь.
- Автоматизировать подготовку данных: выстраивать очистку, дедупликацию и валидацию так, чтобы любой новый датасет без ручной доводки приходил в готовый к обучению вид.
- Добывать редкие и дефицитные домены: обучать классификаторы и кластеризаторы, которые вылавливают ценные сэмплы из сырых данных, и нарезать корпус на чистые датасеты по таксономиям.
- Собирать данные разных форматов: генерация VQA, синтетические задачи, interleaved-данные — каждый формат устроен по-своему и требует своего подхода.
- Обрабатывать миллиарды изображений: писать распределённый код, который прогоняет пайплайны на всём корпусе быстро и стабильно.
- Находить слабые места в данных: разбираться, где модель проседает из-за корпуса — чего не хватает, что зашумлено или разбалансировано, — и исправлять это.
- Развивать контур оценки: подключать свежие бенчмарки, следить за чистотой методики и не пускать тестовые данные в обучающий корпус.
Требования
Кто нам подходит:
Человек, который сможет провести данные от поиска источников до состава финальной смеси. Главное — умение ставить эксперименты и делать из них честные выводы. Опыт именно с VLM или LLM не обязателен: специфика осваивается быстрее, чем культура эксперимента.
Что мы хотели бы видеть:
- Хорошая база ML, твёрдое знание CV и NLP.
- Понимание, как данные влияют на качество модели, и привычка при странностях в метриках первым делом смотреть в данные.
- Уверенный Python и опыт обучения моделей на PyTorch.
- Умение спланировать эксперимент и довести его до вывода, которому можно верить.
- Самостоятельность и проактивность: берёте тему, разбираетесь, доводите до результата.
Плюсом будут:
- Опыт построения дата-пайплайнов и процессов контроля качества данных.
- Опыт с распределённой обработкой (Spark, Dask, Airflow, YTsaurus).
- Опыт проведения ML-экспериментов на больших объёмах.
- Публикации на профильных конференциях.
Мы открыты к кандидатам разного уровня, и попадать во все пункты не обязательно. Если задачи откликаются — напишите нам, остальное обсудим.
Условия
Что мы предлагаем:
- Опыт претрейна из первых рук. Команд, обучающих VLM полным циклом, в стране единицы — вы пройдёте весь путь от сырых данных до готовой модели.
- Вычислительные ресурсы под ваши эксперименты. Один из самых больших GPU-кластеров в России: проверка гипотезы о данных стоит обучающего прогона, и на такие прогоны вычислений у нас хватает.
- Инфраструктура, которая уже работает. S3, YTsaurus, Airflow, DataLens, GitLab CI, wandb — всё для данных и экспериментов на месте, время уходит на исследования, а не на обвязку.
- Задачи, на которые ещё нет ответа. Как собрать лучшие визуальные данные для претрейна, пока не знает почти никто в мире — разбираться предстоит в том числе вам.
- Короткий путь от гипотезы до модели. Данные, которые вы отберёте, и гипотезы, которые подтвердятся, уходят в обучение следующей модели — а ей пользуются миллионы людей.
- Комфортный современный офис рядом с м. Кутузовская.
- Возможность выбрать удобный график – офис/гибрид/удаленка (в РФ).
- Годовая премия.
- Корпоративный спортзал и зоны отдыха.
- Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
- Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
- Ипотека для сотрудников по дисконтной программе.
- Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров.
- Вознаграждение за рекомендацию друзей в команду Сбера.