Опытного DevOps-инженера для развертывания и сопровождения LLM-инференс платформ, а также развития…

DevOps-инженер (LLM / AI платформа)

Компания: KODE Формат: удалённо (только из городов РФ) или гибрид в Калининграде Зарплата: 170 000–230 000 ₽ gross Занятость: полный день

Задачи

• Разворачивать и сопровождать LLM-платформы (vLLM, SGLang, Ollama).
• Развивать AI-платформу в Kubernetes, управлять GPU-ресурсами.
• Настраивать LiteLLM (AI Gateway), маршрутизацию запросов, квоты и политики доступа.
• Оптимизировать производительность инференса (batching, KV Cache, semantic cache).
• Настраивать мониторинг и observability (Prometheus, Grafana, OpenTelemetry, Langfuse, SigNoz).
• Автоматизировать CI/CD и GitOps-процессы.
• Поддерживать RAG/Agentic AI, векторные базы и сервисы памяти.
• Обеспечивать стабильность и высокую доступность AI-инфраструктуры.

Требования

• Опыт DevOps от 4 лет.
• Production-опыт с Kubernetes, Docker, Helm, GitOps.
• Опыт работы с LLM inference (vLLM, SGLang, Ollama, TGI).
• Понимание LLM, KV Cache, batching, streaming, квантования и RAG.
• Опыт работы с NVIDIA GPU/CUDA.
• Linux, Python, CI/CD, Prometheus, Grafana, OpenTelemetry.
• Redis, PostgreSQL, API Gateway.

Будет плюсом

• LiteLLM, KEDA, Qdrant, Milvus.