Сибинтек-Софт Опубликована 4 дня назад · отклик: Сайт вакансий
Senior MLOps/LLMOps инженер
ЗарплатаПо договорённости
ФорматГибрид
ЛокацияМосква, Россия
ГрейдSenior
ЗанятостьПолная занятость
Компания: Сибинтек-Софт
Формат работы: удалённо или гибрид. Тип занятости: полная. График 5/2, 8 рабочих часов в день. Опыт работы: более 6 лет.
Обязанности:
- Разворачивать и эксплуатировать LLM-сервисы на GPU-кластере: инстансы vLLM/SGLang, тиринг по SLA, обновления без простоя парка.
- Тюнинговать движки: continuous batching, chunked prefill, prefix caching, планировщики, спекулятивное декодирование, квантование FP8/NVFP4.
- Строить мультинодовые схемы (TP/PP/EP) и P/D-дисагрегацию с передачей KV-кэша по RDMA.
- Настраивать наблюдаемость (TTFT/TPOT/P99, KV-hit, утилизация HBM).
- Участвовать в планировании мощности и токен-биллинге: бенчмарки, roofline-оценки, сценарии p10/p50/p99.
Требования:
Инференс-движки:
- Глубокое знание vLLM в проде: PagedAttention, prefix cache, планировщик и приоритеты, квантование, мультинод (Ray, TP/PP); умение читать исходники и патчить.
- Практика с одним из движков: SGLang, TensorRT-LLM, llama.cpp, DeepSpeed-MII/FastGen — и понимание компромиссов между ними.
- Квантование в проде: FP8, W8A8, GPTQ/AWQ; знание FP4/NVFP4/MXFP4 — механика, потери качества, применимость по тирам.
- Спекулятивное декодирование: как устроено, влияние на TPOT и пропускную способность, приём черновиков, когда вредит.
- Roofline-мышление: memory-bound декод против compute-bound префилла, роль пропускной способности HBM, footprint KV-кэша (GQA/MLA/сжатый KV) — умение прикинуть «влезет/не влезет» и ожидаемый throughput на узле.
Кластер и сети:
- NVIDIA-стек: драйверы, CUDA, NCCL; диагностика (nvidia-smi, DCGM, чтение отчётов Nsight).
- RDMA/InfiniBand/RoCE: тесты ширины канала, латентность all-to-all, топология и тюнинг NCCL.
- MoE-инференс: экспертный параллелизм, all-to-all dispatch/combine (DeepEP-класс), горячие эксперты и балансировка.
Платформа и инженерная база:
- Kubernetes в проде: GPU-шедулинг, device plugins/MIG, node pools, HPA/VPA.
- Деплой моделей: KServe/llm-d/Knative/Triton; реестры моделей, версионирование весов, LoRA-адаптация.
- Контейнеризация GPU-нагрузок: CUDA-образы, пиннинг потоков, hugepages.
Наблюдаемость и надёжность:
- Prometheus/Grafana/Loki/OpenTelemetry: метрики SLA, трейсинг запроса через роутер, префикс-кэш и движок.
- Нагрузочное тестирование инференса: генераторы трафика по профилям вход/выход и cache-hit; умение отличить SLA-деградацию от ресурсной.
- Инцидент-практика: деградации P99, фрагментация памяти KV-кэша, OOM, отказы реплик.
Языки:
- Python на продакшен-уровне (сервисы, автоматизация, бенчмарки); чтение C++/CUDA-кода движков.
- Go/Bash — для инструментария.
Будет плюсом:
- Собственные бенчмарки, доклады или статьи по тюнингу инференса.
- Опыт P/D-дисагрегации и KV-пулов (NVIDIA Dynamo, Mooncake, DistServe).
- Мультиарендность: изоляция тенантов, защита TTFT от «толстых» промптов (VTC-подход).
- FinOps и токен-биллинг, планирование capacity.
- Контуры ASR/TTS/OCR, embedding/rerank-сервисы.
Условия:
- Работа в аккредитованной IT-компании (льготная ипотека и проч.).
- Оформление по ТК РФ и его полное соблюдение (оплачиваемые отпуска, больничные).
- ДМС со стоматологией с первых недель работы.
Инструменты в вакансии
Навыки и технологии
Направления