Middle AI Infrastructure Engineer, LLM-инфраструктура

Опыт работы: 3–6 лет. Занятость: полная. График: 5/2, 8 рабочих часов. Формат работы: на месте работодателя.

Ищем опытного Middle AI Infrastructure Engineer для масштабирования и поддержки высокопроизводительной LLM-инфраструктуры. Фундамент инфраструктуры уже положен, задача — его развитие и улучшение под растущие нагрузки.

Обязанности

• Обеспечивать надёжность LLM-сервинга в проде: стабильная работа инференса (vLLM/SGLang) под highload-нагрузками, обновления без даунтайма, планирование мощностей под растущую нагрузку.
• Развивать шлюзовый слой: роутинг запросов между моделями на разных серверах, rate limits, балансировка, наблюдаемость.
• Оптимизировать производительность: настройка инференс-сервисов (vLLM, SGLang), распределение ресурсов между GPU-нодами, параметры инференса моделей в зависимости от типа ожидаемых нагрузок.
• Внедрять глубокий мониторинг метрик GPU (память, ядра, температура) и производительности моделей.
• Оперативно решать инциденты и обеспечивать высокую доступность сервисов.

Требования

• Опыт в DevOps/SRE или системной инженерии от 3 лет.
• Практический опыт с LLM-сервингом (любым из: vLLM, SGLang, TGI, Triton), понимание конфигурирования движков под разные типы нагрузок (high throughput, low latency) и плюсов и минусов различных конфигураций.
• Глубокие знания Linux, контейнеризации (Docker) и оркестрации (Kubernetes).
• Опыт работы с GPU-инфраструктурой (NVIDIA drivers, Docker с доступом до GPU, CUDA).
• Навыки программирования на Python или Go для автоматизации задач.
• Опыт работы с инструментами мониторинга (Prometheus, Grafana).
• Понимание того, как работают нейросети на системном уровне.

Будет преимуществом

• Практический опыт запуска модели на нескольких GPU в рамках одного или нескольких серверов (Data/Tensor параллелизм).
• Опыт работы с шлюзами LLM-сервинга вроде LiteLLM.
• Английский язык для чтения документации.

Стек: vLLM и SGLang на GPU, LiteLLM + Shepherd Model Gateway, OpenWebUI, Kubernetes.

Условия

• Комфортный современный офис — м. Кутузовская.
• Ежегодный пересмотр зарплаты, годовой бонус.
• Корпоративный спортзал и зоны отдыха.
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
• Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ.
• Подписка Прайм с возможностью совместного использования на трёх близких.
• Вознаграждение за рекомендацию друзей в команду Сбера.
• Корпоративная пенсионная программа.