NLP-инженер по pretrain-данным для LLM

Команда GigaChat Pretrain Data готовит pretrain-данные для GigaChat и GigaChat Vision. Объём сырых данных превышает 40 ПБ; задача — превратить их в датасет для обучения LLM.

Обязанности

• Генерировать синтетические данные: математика, код, произвольная синтетика с сидами — документами из Web.
• Исследовать токенизацию и её влияние на качество модели (возможно написание статей).
• Решать задачи кластеризации миллиардов документов.
• Исследовать разные факторы, которыми обладают текстовые данные.
• Генерировать Vision-данные для прокачки VLM.
• Разрабатывать новые алгоритмы парсинга HTML и исследовать его влияние на качество модели.
• Исследовать зависимости между pretrain-данными и agentic capabilities итоговой модели.
• Разрабатывать стабильную инфраструктуру для поддержки сотен и тысяч экспериментов над данными.

Требования

• Коммерческий релевантный опыт, связанный с NLP или построением инфраструктуры для данных, от двух лет.

Будет плюсом

• Навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе.
• Опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов.
• Инструментальное владение AI для анализа, генерации и автоматизации.
• Опыт с MapReduce-системами.

Условия

• Комфортный современный офис рядом с м. Кутузовская.
• Гибридный формат работы: 2 дня в офисе, 3 дня на удалёнке.
• Ежегодный пересмотр зарплаты, годовая премия.
• Корпоративный спортзал и зоны отдыха.
• Система обучения для профессионального и карьерного развития.
• Расширенный полис ДМС с первого дня работы и страхование для семьи.
• Льготная программа ипотеки для сотрудников.
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнёров.
• Вознаграждение за рекомендацию друзей в команду Сбера.