Deep Learning/CUDA инженер, инференс LLM

Команда инференса GigaChat в Сбере ищет инженера, который отвечает за скорость, стоимость и стабильность работы движка, через который проходят все ответы модели пользователям. Работа с собственными архитектурами и мультимодальными моделями GigaChat.

Задачи

• Обеспечивать быструю работу новых архитектур GigaChat, включая мультимодальные, на проде
• Ускорять инференс: кастомные CUDA-ядра, квантизация, speculative decoding, оптимизации KV-cache, continuous batching и другие оптимизации
• Раскладывать большие модели по GPU и кластеру: тензорный и пайплайн-параллелизм, disaggregated prefill/decode, шедулинг запросов
• Профилировать и находить узкие места в ядрах, раскладке памяти, сети и планировщике
• Поддерживать стабильность продового движка под нагрузкой
• Изучать свежие статьи и код движков vLLM, SGLang, TensorRT-LLM и применять улучшения с учётом архитектур GigaChat

Требования

• Опыт работы в области глубокого обучения, в том числе с LLM
• Глубокое знание CUDA и Python
• Опыт использования GigaChat, Kandinsky и аналогов в продуктах
• Навыки создания и использования AI-агентов

Условия

• Современный офис рядом с м. Кутузовская
• Возможность выбрать график: офис, гибрид или удалёнка в РФ
• Годовая премия
• Корпоративный спортзал и зоны отдыха
• Более 400 образовательных программ СберУниверситета
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• Ипотека для сотрудников по дисконтной программе
• Бесплатная подписка СберПрайм+ и скидки у компаний-партнёров
• Вознаграждение за рекомендацию друзей в команду