Senior ML-инженер — платформа обучения моделей

Netflix — ведущий стриминговый сервис с 278 млн платных подписчиков в более чем 190 странах. Направление Machine Learning/Artificial Intelligence обеспечивает инновации во всех областях бизнеса: от персонализированных рекомендаций до оптимизации платежей и моделирования спроса на контент.

О роли

Мы ищем senior-инженера с глубокой экспертизой в распределённом обучении моделей и системах для его масштабирования. Вы будете участвовать в формировании архитектуры нашей платформы обучения, повышать производительность и надёжность крупных задач обучения и создавать удобные платформенные интерфейсы для ML-инженеров. Наша инфраструктура построена на Kubernetes, кластерах Ray и примитивах распределённого обучения PyTorch. Роль требует сильной технической глубины, инженерного чутья и умения влиять на команды. Вы будете тесно работать с ML-инженерами, исследователями, инфраструктурными командами и стейкхолдерами платформы.

Задачи

• Проектировать и строить платформу для крупномасштабного обучения ML-моделей, их дообучения, трансформации и оценки для всей компании.
• Совместно проектировать и оптимизировать системы и модели для масштабирования и повышения экономической эффективности обучения.
• Проектировать удобные API и интерфейсы для опытных ML-специалистов и неэкспертов.
• Проектировать, строить и эксплуатировать инфраструктуру платформы, библиотеки и SDK для крупномасштабного обучения моделей, обеспечивая надёжные и эффективные процессы обучения для foundation-моделей и генеративных AI-моделей любого размера.
• Диагностировать и оптимизировать производительность крупных распределённых задач обучения: загрузку GPU, эффективность памяти, накладные расходы на коммуникацию, загрузку данных, чекпоинтинг, отказоустойчивость и утилизацию кластера.
• Внедрять и продвигать лучшие практики эксплуатации: наблюдаемость, логирование, отчётность и on-call процессы.

Минимальные требования

• Опыт проектирования, построения и эксплуатации инфраструктуры платформы, библиотек и SDK для крупномасштабного обучения моделей.
• Опыт с облачными провайдерами, предпочтительно AWS.
• Комфорт в условиях неопределённости и работа на разных уровнях технологического стека, включая проекты от 0 до 1 и от 1 до 100.
• Отличные навыки письменной и устной коммуникации.
• Комфортная работа в команде с коллегами и партнёрами, распределёнными по географии и часовым поясам США.

Предпочтительные требования

• Понимание современных реальных процессов разработки ML-моделей и опыт тесной работы с ML-инженерами. Проведение технических ревью, фасилитация кросс-функциональных обсуждений, чёткая коммуникация компромиссов и согласование стейкхолдеров.
• Знакомство с облачными AI/ML-сервисами (например, SageMaker, Bedrock, Databricks, OpenAI и др.).
• Знакомство с инструментами и техниками анализа производительности распределённого обучения: PyTorch Profiler, NVIDIA Nsight Systems, телеметрия GPU, профилирование коммуникаций, анализ утилизации кластера.
• Опыт крупномасштабного распределённого обучения и различных техник параллелизма для масштабирования, таких как FSDP и тензорный/конвейерный параллелизм.
• Экспертиза в области генеративного AI, особенно в обучении foundation-моделей, их дообучении и дистилляции в меньшие модели.

Условия

Структура компенсации состоит исключительно из годовой зарплаты; бонусов нет. Вы ежегодно выбираете, какая часть компенсации будет в зарплате, а какая — в опционах. Размер компенсации определяется на основе рыночных показателей и вашего опыта, навыков и семейства должностей.