Инженер инфраструктуры AI-агентов

Cohere — компания, разрабатывающая фундаментальные AI-модели и корпоративные AI-продукты. Штаб-квартира в Торонто, офисы в Лондоне, Нью-Йорке, Сан-Франциско, Монреале, Париже, Берлине и Сеуле.

Роль в команде, которая создаёт инфраструктуру для агентных AI-систем на стыке ML-систем, распределённой инфраструктуры и опыта разработчиков.

Задачи:

• Безопасные среды исполнения для кода, сгенерированного агентами.
• Идентификация, аутентификация и границы доверия для агентов.
• Маршрутизация моделей и оркестрация между разными типами моделей и средами.
• Ограничение частоты запросов, квоты и управление ресурсами для агентных рабочих процессов.
• Управление состоянием, памятью и абстракциями файловой системы для агентов.
• Превращение идей из ML-исследований в production-инфраструктуру.
• Создание ключевых платформенных возможностей для исполнения, хранения и управления состоянием.
• Прототипирование и оценка новых технологий с последующим решением о выводе в production.
• Совместная работа с исследовательскими командами для формирования инфраструктуры под будущие агентные системы.

Требования:

• Опыт построения production ML-инфраструктуры с сильными системными знаниями.
• Практический опыт с агентными системами, мультиагентными workflow или фреймворками разработки агентов.
• Знакомство с маршрутизацией моделей и фреймворками LLM-провайдеров для разных типов моделей и сред.
• Опыт масштабируемых отказоустойчивых распределённых систем и Kubernetes.
• Опыт быстрого прототипирования и принятия решений о productionization.

Будет плюсом:

• Опыт с on-prem, частным и публичным облаком.
• Знакомство с системами хранения, встраиваемыми базами данных или абстракциями файловой системы.
• Опыт с песочницами исполнения кода: gVisor, Firecracker, Kata или WASM-рантаймы.
• Интерес к новым ML-инфраструктурам, edge-инференсу или браузерным моделям.
• Вклад в open-source проекты LLM или агентной инфраструктуры.
• Опыт с идентификацией, аутентификацией рабочих нагрузок или системами безопасности на основе возможностей.

Условия:

• Еженедельная дотация на обед $75/£75 или эквивалент в местной валюте.
• Полное медицинское и стоматологическое страхование, включая отдельный бюджет на психическое здоровье.
• RRSP matching, 401K, пенсионная схема.
• 100% доплата к родительскому отпуску до 6 месяцев для любого родителя.
• Ежегодные льготы: культура и искусство, фитнес/велнес, качественное время и кредит на улучшение рабочего места.
• Стипендия на образование и обучение для конференций, курсов и коучинга.
• 6 недель оплачиваемого отпуска (30 рабочих дней).
• Бюджет на поездки в другие офисы для удалённых сотрудников и ежегодный корпоративный выезд.
• Cohere дружелюбна к удалённой работе, но есть офисы в Торонто, Лондоне, Нью-Йорке, Сан-Франциско, Монреале, Париже, Берлине и Сеуле.
• Для офисных сотрудников: ежедневный обед, снеки и регулярные общественные и социальные мероприятия.
• Для тех, кто не рядом с офисом: компенсация коворкинга.
• Всем сотрудникам — стипендия $500 на домашний офис.