Lead DevOps/MLOps инженер
Опыт работы: более 6 лет. Занятость: полная. График: 5/2, 8 рабочих часов. Формат работы: на месте работодателя, удалённо или гибрид.
Ищем Lead DevOps/MLOps Engineer в Data Science Department для работы с командой ML Engineering над созданием и укреплением on-premises ML-платформы с поддержкой GPU. В роли нужно обеспечить одновременную, надёжную и низколатентную работу множества ML и LLM сценариев, масштабируя платформу для более широкой аудитории пользователей в организации.
Возможность удалённой работы в Казахстане с доступом к офисам в Астане, Алматы или Караганде.
Задачи:
- Создавать и укреплять on-premises ML-платформу с поддержкой GPU для параллельных ML и LLM нагрузок.
- Диагностировать и устранять ежедневные узкие места по ресурсам и проблемы задержек между конкурирующими production и development сценариями.
- Разворачивать и сопровождать NVIDIA GPU Operator, управлять GPU-ресурсами в кластерах Kubernetes и OpenShift.
- Внедрять стратегии разделения и изоляции GPU для оптимизации памяти и изоляции сбоев между нагрузками.
- Масштабировать GPU-среду под растущие вычислительные потребности при добавлении новых серверов H200.
- Поддерживать и улучшать платформенные сервисы, такие как MLflow и Agent Gateway.
- Управлять пайплайнами мониторинга с использованием NVIDIA DCGM exporter, Prometheus и Grafana для отслеживания загрузки и производительности GPU.
- Взаимодействовать с командами Deep Learning и Traditional ML для поддержки общей инфраструктуры, включая тренировочные нагрузки на Ray.
- Обеспечивать надёжность и безопасность платформы с учётом конфиденциального и чувствительного характера данных, обрабатываемых on-premises.
- Совместно с командой Data Analytics поддерживать внутреннюю агентную платформу по мере её масштабирования на более широкую базу сотрудников.
Требования:
- 5+ лет опыта эксплуатации GPU-нагрузок на Kubernetes или OpenShift в production, желательно on-premises.
- Практический опыт развёртывания и диагностики NVIDIA GPU Operator с чётким пониманием функции каждого компонента.
- Понимание отличий GPU от CPU как планируемого ресурса, включая ограничения памяти, семантику утилизации и ограничения планирования.
- Знание методов разделения и изоляции GPU, таких как MIG, time-slicing и MPS, и их компромиссов.
- Прочные основы Linux, включая cgroups, namespaces, управление ресурсами systemd и управление ресурсами на уровне процессов.
- Опыт с Prometheus, Grafana и NVIDIA DCGM, включая метрики GPU на уровне процесса или пода.
- Рабочее знание стека CUDA, включая драйверы, CUDA toolkit и совместимость версий container runtime.
- Опыт развёртывания с Helm и эксплуатации MLOps-инструментов, таких как MLflow и Airflow, на Kubernetes.
Будет плюсом:
- Знакомство с движками обслуживания LLM, такими как vLLM, SGLang или NVIDIA Triton.
- Опыт с Ray, KubeRay и GPU-aware планировщиками, такими как Kueue или Volcano.
- Практическая работа с оборудованием класса H100/H200 и GitLab CI.
Условия:
- Участие в Employee Stock Purchase Plan.
- Денежные бонусы за участие в реферальной программе.
- Медицинский и семейный пакет.
- Шесть trust days в год (больничный без медицинской справки).
- Покрытие сессий с психологом на выбор.
- Пакет льгот (спорт, различные магазины и услуги).
- Программа поддержки жилья: льготная ипотека через партнёрство с Otbasy Bank.
- Возможность работать за рубежом до двух месяцев в год.
- Возможности релокации в офисы в 55+ странах.
- Корпоративные и социальные мероприятия.
- Программы развития лидерства, карьерного консультирования, soft skills и благополучия.
- Сертификации, включая GCP, Azure и AWS.
- Неограниченный доступ к внутренней базе обучения EPAM.
- Бесплатные занятия английским с сертифицированными преподавателями.
- Скидки в местных языковых школах, включая онлайн-курсы казахского языка.