AI/ML Engineer

СберСпасибо: AI/ML Engineer

О проекте

Мы разрабатываем корпоративных AI-агентов и RAG-системы для умного поиска по внутренней документации. Часть решений уже в эксплуатации, часть — в активной разработке. Сейчас мы ищем специалиста, который займётся качественной составляющей систем: повышением надёжности RAG, выстраиванием методологии оценки, тестирования, защит и промпт-инжинирингом.

Это прикладная позиция — мы не обучаем модели, а используем готовые через корпоративный шлюз. Весь фокус на инжиниринг, оценку и тонкую настройку поведения агентов.

Задачи

• Повышение качества RAG-агентов по трём направлениям: поиск по технической документации, нормативной базе и бухгалтерской документации
• Промпт-инжиниринг и контекст-инжиниринг для всех агентов команды
• Подготовка эталонных наборов для оценки качества
• Реализация методологии автоматических регрессионных проверок (LLM-as-a-judge)
• Настройка защит (guards) для production-агентов: фильтры от инъекций в промпт, валидация структуры и контента выходов, защита от утечек ПДн, anti-hallucination механизмы
• A/B-тестирование промптов и моделей для подбора лучших конфигураций
• Тюнинг качества на основе обратной связи пользователей и трассировок из Langfuse

Требования

• Опыт коммерческой разработки на Python от 2 лет
• Практический опыт создания и поддержки RAG-систем в продакшене (от начала до конца, не прототип): эмбеддинги, векторные базы (Qdrant, FAISS или pgvector), переранжирование, чанкинг
• Практический опыт оценки качества LLM-систем: подготовка эталонных наборов, offline-метрики, LLM-as-judge, регрессионные проверки; опыт работы с фреймворками оценки (Ragas, DeepEval или аналоги)
• Практический опыт настройки защит для LLM-приложений: защита от инъекций в промпт, валидация структуры и контента выходов, защита от утечек персональных данных
• Опыт промпт-инжиниринга и контекст-инжиниринга в реальных проектах: итеративная настройка промптов, structured output, function calling
• Понимание архитектуры RAG: стратегии нарезки документов, метаданные, выбор моделей эмбеддингов, переранжирование, точность ссылок на источник
• Практический опыт работы хотя бы с одним LLM-фреймворком: LangChain, LangGraph, PydanticAI, OpenAI API или аналоги
• Практический опыт A/B-тестирования промптов и моделей в продакшене
• Опыт работы с агентскими протоколами (MCP) или собственным tool-layer для агентов
• Базовые знания SQL и работы с реляционными базами