Staff-инженер по исследованиям, предобучение LLM

О компании

JetBrains с 2000 года разрабатывает инструменты для разработчиков. Компания работает над новой платформой, которая предоставляет возможности ИИ всем продуктам JetBrains. Платформа основана на моделях, разработанных внутри компании для помощи в написании кода и текстов, а также на интеграции со стратегическими партнёрами.

JetBrains — работодатель равных возможностей.

Важные качества

• Умение самостоятельно планировать проекты и принимать решения, при необходимости консультируясь с другими.
• Способность определять потребности клиентов и расставлять приоритеты задач.
• Начинать с простейших решений и постепенно добавлять сложность по мере необходимости.
• Готовность нести единоличную ответственность за целую подсистему.
• Увлечённость обучением и желание быть в курсе последних разработок в области LLM.

Задачи

• Совместно со стейкхолдерами преобразовывать бизнес-требования в технические спецификации.
• Обучать LLM с нуля на большом GPU-кластере.
• Собирать и обрабатывать датасеты для предобучения и дообучения.
• Поддерживать и улучшать существующие подсистемы.

Требования

• Опыт проектирования, развертывания и поддержки продакшн-ML-систем.
• Сильная теоретическая база в NLP и подходах на основе трансформеров.
• Свободное владение современными фреймворками глубокого обучения, такими как PyTorch, и распространёнными библиотеками для NLP.
• Опыт распределённого обучения моделей с миллиардами параметров.
• Внимание к деталям и отличные коммуникативные навыки.

Будет плюсом

• Опыт работы с фреймворками инференса LLM: vLLM, DeepSpeed, TensorRT.
• Опыт применения техник выравнивания LLM: RLHF/RLAIF.
• Инструменты и практики MLOps, включая CI/CD для ML.
• K8s и Kubeflow.
• Научные публикации в области NLP.

Стек и инфраструктура

• Кластер из сотен NVIDIA GPU в качестве инфраструктуры для обучения.
• Git для управления исходным кодом.
• Python, PyTorch и Hugging Face как ML-стек.
• Kubeflow и Weights & Biases для отслеживания экспериментов.
• TeamCity как система автоматизации CI.