Applied AI Engineer, LLM-агенты
ЗарплатаПо договорённости
ФорматНе указан
ЛокацияSan Francisco, США
Команда Codex Core Agent занимается ядром Codex: улучшением работы агента, ускорением исследований и внедрением улучшений в продакшн. Работа охватывает системы, которые обеспечивают функционирование Codex как агента: производительность в продакшене (токены, задержка, надёжность, стоимость, ёмкость), основной цикл выполнения и интерфейсы, превращающие модели в полезное поведение, общую инфраструктуру для других команд и обратные связи, превращающие реальное использование в улучшение моделей и поведения агента.
Задачи:
- Проектировать и итеративно улучшать поведение агента на реальных задачах программирования и длительных рабочих процессах.
- Тесно работать с исследователями над разработкой и проведением evals для измерения производительности агента, регрессий, режимов отказа и граничных случаев.
- Улучшать производительность через промптинг, стратегии использования инструментов, построение контекста и эксперименты с моделью.
- Анализировать сбои в продакшене и систематически повышать устойчивость и надёжность.
- Строить обратные связи и системы данных, которые доставляют данные реальных задач в оценку и исследования.
- Работать с продуктовыми командами над пользовательским опытом агента и интерфейсами, от которых зависит агент.
- Помогать определять, что значит «хорошо» для агентов, выполняющих сложные задачи от начала до конца.
Требования:
- Опыт создания или выпуска продуктов на основе машинного обучения или LLM.
- Уверенное владение Python и современными инструментами ML.
- Опыт работы с оценкой моделей, дообучением или дизайном промптов.
- Системное мышление и ориентация на пользовательские результаты, а не только на метрики модели.
- Умение отлаживать сложные реальные сбои и превращать их в улучшения.
- Желание работать на уровне, превращающем исследования и потенциал моделей в работающие для пользователей системы.
Будет плюсом:
- Опыт с агентными фреймворками или LLM-системами, использующими инструменты.
- Исследовательский опыт с моделями генерации кода или инструментами разработчика.
- Опыт работы с большими неструктурированными наборами данных или продакшн-логами.
Инструменты в вакансии
Навыки и технологии
Направления