ML-инженер по инференсу (vLLM / SGLang / TensorRT-LLM)

Мы создаём бенчмарк, который проверяет, насколько хорошо AI-агенты справляются с реальной экспертной работой в терминале. Мы нанимаем экспертов по ML-инференсу и сервингу, чтобы превращать реальные оплачиваемые задачи из их работы в экспертные задачи Terminal-Bench. Каждая задача включает окружение, рабочее решение и автоматическую проверку, подтверждающую правильность результата.

Это модель оплаты за задачу. Подробности в вопросах заявки.

Задачи

• Проектировать экспертные задачи Terminal-Bench, превращая реальную оплачиваемую работу по ML-инференсу из собственного опыта в задачи, которые AI-агент должен решить от начала до конца.
• Определять файлы, системы и окружения для каждой задачи, например, сервинг моделей со стримингом, чтобы задача была реалистичной, воспроизводимой и решаемой из командной строки.
• Писать рабочее эталонное решение для каждой задачи и проверять его сквозной запуск, рассчитанный примерно на 60–75 минут экспертной работы.
• Создавать автоматические проверки, объективно подтверждающие правильность результата, включая случаи, когда ML-выходы ошибаются молча, например, числовой дрейф или ошибки в метриках.
• Упаковывать задачи с помощью Docker и Git для воспроизводимости и документировать системы, инструменты, данные и правила, чтобы рецензенты могли оценить сложность.
• Дорабатывать задачи по отзывам рецензентов и результатам тестовых прогонов агентов, корректируя сложность и устраняя неоднозначности, чтобы каждая задача оставалась экспертной, справедливой и объективно оцениваемой.

Требования

• 3+ года практической работы в ML-инференсе или сервинге (не только учёба, продажи или управление), или PhD и активные исследования в этой подобласти.
• Выполняли эту работу за последние 3 года и можете назвать используемые системы, инструменты, данные и правила.
• Обучали, обслуживали или оценивали модели в реальном масштабе (мульти-GPU или продакшн-сервинг), а не только в ноутбуках или через API.
• Практический опыт с внутренностями PyTorch или JAX и стеками сервинга, такими как vLLM, SGLang или TensorRT-LLM.
• Умеете объяснять, как ML-результаты ошибаются без ошибок (числовой дрейф, ошибки в метриках) и как их ловить.
• Техническая беглость в Python и командной строке, а также с файлами, CSV/JSON, API или базами данных.
• Доступность для начала к началу ноября 2026 года и выполнения задач примерно по 60–75 минут каждая.

Будет плюсом

• Опыт в AI-лаборатории или инфраструктуре LLM.
• Вклад в PyTorch, vLLM или SGLang.
• Опыт профилирования GPU.
• Владение Docker и Git.
• Опыт написания автоматических тестов.

Процесс

• Вместо интервью — проверочная задача, чтобы клиент оценил ваш дизайн задач.
• Оплата за задачу; каждая задача занимает около 60–75 минут.
• Работа выдаётся задача за задачей с отзывами рецензентов на отправленные материалы.
• Ожидаемое начало — начало ноября 2026 года.