AI/LLM-инженер по GenAI Evaluation

AI/LLM Engineer в GenAI Evaluation

Занятость: полная, график 5/2. Формат: удалённо, гибрид или офис. Опыт: 3–6 лет.

Что делать:

• Выстраивать процессы разработки и валидации GenAI-решений на основе Evaluation-driven-development.
• Разрабатывать сервис для массового тестирования GenAI-решений: от запросов к LLM до сложных агентов.
• Создавать внутренние бенчмарки по HR-домену для оценки open-source LLM.
• Проектировать метрики качества и валидационные пайплайны, настраивать observability.
• Организовывать человеческую разметку и разрабатывать LLM-as-Judge.
• Готовить лучшие практики и инструкции для продуктовых команд.

Требования:

• Уверенный Python, опыт production-ready ML/GenAI-сервисов.
• Опыт систем оценки качества ML/GenAI: offline-метрики, regression testing, human evaluation, A/B.
• Опыт валидационных пайплайнов и бенчмарков (датасеты, версии, воспроизводимость).
• Опыт с DeepEval, LangFuse, MLflow, LangSmith и аналогами.
• Опыт с LLM API, RAG, агентами, LangChain/LangGraph.
• Опыт FastAPI, asyncio и векторных баз (Milvus, Qdrant, FAISS, pgvector).

Будет плюсом:

• Знание Java.
• Опыт обучения и инференса open-source LLM.