AI/LLM-инженер по оценке качества GenAI
Опыт работы: 3–6 лет. Занятость: полная. График: 5/2, 8 рабочих часов. Формат работы: на месте работодателя, удалённо или гибрид.
В hh создают продукты и AI-ассистентов для работодателей и соискателей на базе генеративных технологий. LLM-модели уже используются для генерации текстов, ведения диалогов, классификации и анализа вакансий и резюме. Направление активно развивается, и сейчас ищут AI/LLM-инженера, который поможет выстроить в компании эффективную систему оценки качества GenAI-фичей — через бенчмарки, метрики и процессы, которым будут следовать десятки команд.
Чем предстоит заниматься:
- Помогать выстраивать процессы разработки и валидации GenAI-решений на основе Evaluation-driven-development подхода.
- Разрабатывать высокопроизводительный сервис для массового тестирования GenAI-решений — от QA-запросов к LLM до сложных агентов с отдельным окружением.
- Разрабатывать внутренние бенчмарки по HR-домену для оценки OSS LLM.
- Проектировать метрики качества, разрабатывать валидационные пайплайны.
- Настраивать observability для поддержания качества работы GenAI-решений в проде.
- Организовывать человеческую разметку и разрабатывать LLM-as-Judge.
- Разрабатывать и поддерживать лучшие практики, кукбуки, инструкции и другие материалы, которые помогут командам ускорить и упростить процесс разработки и тестирования GenAI.
- Активно взаимодействовать с продуктовыми командами, помогать внедрять инструменты и подходы к оценке качества GenAI-решений.
Требования:
- Уверенное владение Python и опыт разработки production-ready ML/GenAI-сервисов.
- Опыт построения и внедрения систем оценки качества ML/GenAI-решений: offline-метрики, regression testing, human evaluation, A/B или онлайн-валидация.
- Опыт проектирования валидационных пайплайнов и бенчмарков (датасеты, версии, воспроизводимость, сравнение моделей).
- Опыт использования валидационных фреймворков и инструментов observability (DeepEval, LangFuse, MlFlow, LangSmith и др.).
- Понимание особенностей оценки LLM- и agent-based систем в сравнении с классической разработкой и классическим ML.
- Опыт работы с LLM API и реализации LLM-based сервисов (диалоговые агенты, RAG, Agent workflows), понимание нюансов и трейдофов.
- Готовность быть драйвером внедрения best practices внутри компании.
- Знание LLM-фреймворков (langchain, langgraph или аналоги) и подходов к разработке AI-агентов (function calling, structured output, context engineering).
- Опыт создания web-сервисов (FastAPI, asyncio), дизайна чистых и функциональных API и интеграции с бэкенд-сервисами.
- Опыт работы с векторными базами данных (Milvus/Qdrant/FAISS/pgvector) для RAG-решений и не только.
Будет плюсом:
- Знание Java.
- Понимание современных архитектур и методов обучения языковых моделей.
- Опыт обучения и инференса open-source LLM-моделей.
Условия:
- Возможность выбора места работы: удалённо или из офиса.
- Гибкий график рабочего дня.
- Оформление в соответствии с ТК РФ, «белая» заработная плата, выплачиваемая точно в срок.
- Корпоративное ДМС с первого месяца работы.
- Возможность профессионального развития, обучение за счёт компании, участие в специализированных конференциях.