ClickUp Опубликована 12 дней назад · отклик: jobicy.com
Senior AI-инженер по LLM-платформе
ЗарплатаПо договорённости
ФорматУдалённо
ЛокацияСША
ГрейдSenior
ClickUp — AI-нативная компания, развивающая AI-воркспейс, объединяющий задачи, документы, чат, календарь и корпоративный поиск. В команду ClickUp Engineering ищут Senior AI Engineer с фокусом на оценку качества AI.
Задачи:
- Проектировать, создавать и развивать систему оценки AI ClickUp: golden datasets, LLM-as-judge и автоматические скореры, обнаружение регрессий и отслеживание качества AI-функций.
- Разрабатывать и развивать ядро agent harness и AI, показывающий высокие результаты на этих оценках, в тесном сотрудничестве с продуктом и инженерией для определения критериев качества.
- Строить циклы самоулучшения, в которых агенты изменяют других агентов или промпты, перезапускают оценки и итерируют автоматически.
- Бенчмаркать новые модели по мере выхода и отвечать за выбор моделей, маршрутизацию и стратегии fallback у разных провайдеров (например, OpenAI, Anthropic, Google, open-weight), балансируя качество, задержку и стоимость.
- Проектировать и реализовывать масштабируемые сервисы AI-платформы для деплоя, оркестрации и управления жизненным циклом LLM и других AI-моделей.
- Создавать и поддерживать надёжные API и бэкенд-системы, интегрирующие AI-функции в основную платформу ClickUp.
- Разрабатывать инфраструктуру для обслуживания моделей, мониторинга, логирования и автоматической оценки для высокой надёжности и производительности AI-сервисов в продакшене.
- Внедрять лучшие практики приватности, безопасности и соответствия требованиям в AI, включая анонимизацию данных, безопасную обработку данных и соблюдение регуляторных норм.
- Кросс-функционально сотрудничать с продуктовой, фронтенд- и data-командами для создания бесшовных, надёжных и ориентированных на пользователя AI-решений.
Требования:
- 5+ лет опыта в разработке ПО, включая 2+ года создания production-систем на LLM или ML.
- Практический опыт построения систем оценки LLM в продакшене (golden datasets, LLM-as-judge, калибровка судей, офлайн- и онлайн-оценки), связанных с реальным качеством продукта.
- Сильные навыки дизайна экспериментов и статистической строгости, включая A/B-тестирование, офлайн- и онлайн-метрики и отделение реальных регрессий от шумных или вариативных результатов.
- Подтверждённый опыт применения LLM и AI-моделей в реальных клиентских функциях продукта.
- Подтверждённый опыт интеграции и управления несколькими LLM, включая бенчмаркинг, маршрутизацию и компромиссы между стоимостью, задержкой и качеством.
- Глубокая экспертиза в бэкенд-инженерии, распределённых системах и cloud-native технологиях (например, Kubernetes, Docker, AWS/GCP/Azure).
- Сильные навыки программирования на Python (предпочтительно), Go, TypeScript или аналогичных языках для бэкенда и AI-платформы.
- Владение фреймворками оркестрации и workflow-движками (например, LangGraph, Airflow, Ray или аналогичными).
- Знакомство с технологиями поиска и извлечения данных и их интеграцией в AI-приложения.
- Отличные навыки сотрудничества и коммуникации, подтверждённый опыт эффективной работы в кросс-функциональных командах.
- Увлечённость передовыми AI-технологиями и применением новых технологий для решения реальных задач в масштабе.
Будет плюсом:
- Опыт в data science, applied science или machine learning engineering.
- Опыт с инструментами оценки (например, Braintrust, LangSmith, Weave, Arize или внутренними фреймворками).
- Опыт с маршрутизацией моделей, AI-шлюзами или оптимизацией инференса.
Инструменты в вакансии
Навыки и технологии
Направления