ML-разработчик в команду претрейна VLM.
Мы строим мультимодальные foundation-модели и отвечаем за претрейн — этап, на котором закладываются базовые способности модели и определяется потолок её качества на последующих стадиях. Наша задача — находить решения, которые масштабируются, устойчиво работают на больших объёмах данных и улучшают понимание мира.
Задачи:
- Развивать претрейн моделей: исследовать архитектурные решения, рецепты и режимы обучения для VLM. Находить подходы, которые улучшают базовые способности модели, усиливают связь между визуальной и текстовой модальностями и дают устойчивый прирост качества.
- Работать с петабайтами мультимодальных данных: массивы данных image-text, OCR, документы, таблицы, графики, интерфейсы, видео, UGC. Принимать решения, какие форматы и пропорции усиливают модель, исследовать scaling laws, превращать работу с данными в масштабируемый pipeline.
- Работать с large-scale-обучением: профилировать узкие места, следить за эффективностью использования GPU, улучшать стабильность запусков и воспроизводимость экспериментов.
Требования:
- Опыт в CV, NLP и понимание устройства LLM/VLM.
- Знание устройства распределённого обучения больших моделей.
- Умение писать рабочий код и доводить идеи до воспроизводимого результата.
Условия:
- Компенсация обедов.
- Свежие фрукты на кофепойнтах.