Сбер. IT Опубликована 6 дней назад · отклик: Сайт вакансий
Deep Learning/CUDA инженер, LLM-инференс
ЗарплатаПо договорённости
ФорматГибрид
ЛокацияМосква, Россия
ЗанятостьПолная занятость
Команда инференса GigaChat. Задача — обеспечивать быстрое, дешёвое и стабильное прохождение всех запросов к модели через собственный движок.
Задачи
- Заставлять новые архитектуры GigaChat (включая мультимодальные) работать на проде быстро
- Ускорять всё, что можно ускорить: кастомные CUDA-ядра, квантизация, speculative decoding, оптимизации KV-cache, continuous batching — и то, чему ещё нет устоявшегося названия
- Придумывать, как разложить большую модель по GPU и по кластеру так, чтобы ни один FLOPS не простаивал: тензорный/пайплайн-параллелизм, disaggregated prefill/decode, шедулинг запросов
- Профилировать честно и глубоко: находить, куда на самом деле уходят миллисекунды — в ядре, в раскладке памяти, в сети или в планировщике — и убирать это
- Держать прод: движок, через который проходят все запросы к GigaChat, должен успешно переживать абсолютно всё
- Читать свежие статьи и код лучших движков (vLLM, SGLang, TensorRT-LLM) не как пользователь, а как конкурент: понимать, что у них хорошо, и делать у себя лучше — с поправкой на наши архитектуры
Требования
- Опыт работы в области глубокого обучения, в том числе с LLM
- Глубокое знание CUDA и Python
- Опыт использования GigaChat, Kandinsky и аналогов в продуктах
- Навыки создания и использования AI-агентов
Условия
- Комфортный современный офис рядом с м. Кутузовская
- Возможность выбрать удобный график – офис/гибрид/удаленка (в РФ)
- Годовая премия
- Корпоративный спортзал и зоны отдыха
- Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- Ипотека для сотрудников по дисконтной программе
- Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
- Вознаграждение за рекомендацию друзей в команду Сбера
Инструменты в вакансии
Навыки и технологии
Направления