Research Engineer, LLM post-training и RL

GigaChat (GigaChain): Agentic Post-Training и Online RL.

Обязанности

Исследовать поведение модели:

• разбирать ошибки GigaChat в длительных задачах: потерю цели и контекста, слабое планирование, неверный выбор инструментов, зацикливание, ошибки восстановления и преждевременное завершение работы;
• анализировать отдельные шаги и целые траектории, находить систематические паттерны успешного и неуспешного поведения;
• понимать источник проблемы и определять, что нужно менять: обучающие данные, objective, reward-сигнал, модель или agentic environment.

Улучшать модель:

• разрабатывать и улучшать post-training пайплайны для агентных сценариев;
• работать с rollout’ами, reward-сигналами, rule-based и execution-based верификаторами, judge- и reward-моделями;
• создавать обучающие выборки из реальных и синтетических агентных траекторий, включая фильтрацию и отбор наиболее полезных примеров;
• выбирать подходящий метод обучения и понимать, когда сложный RL-контур оправдан, а когда задачу эффективнее решить более простым способом.

Оценивать изменения:

• строить evaluation для многошаговых агентных задач и анализировать качество не только по финальному результату, но и по поведению модели внутри траектории;
• проверять, переносится ли улучшение между задачами, бенчмарками и харнесами;
• контролировать регрессии и воспроизводимость результатов;
• взаимодействовать с командами обучения, инференса, данных, API и агентных харнесов.

Требования

• сильное владение Python и практический опыт работы с PyTorch;
• практический опыт LLM post-training: SFT, preference optimization, RLHF, online RL или близкие направления;
• умение самостоятельно ставить ML-гипотезы, проектировать эксперименты и делать выводы по их результатам;
• опыт построения пайплайнов данных;
• навык анализа модели на уровне отдельных примеров и траекторий;
• способность доводить исследовательскую идею до работающего и воспроизводимого решения.

Условия

• возможность выбрать удобный формат работы: гибрид или офис;
• ежегодный пересмотр зарплаты, годовая премия;
• корпоративный спортзал и зоны отдыха;
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития;
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• ипотека выгоднее до 7% для каждого сотрудника;
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров;
• вознаграждение за рекомендацию друзей в команду Сбера.