Старший Applied AI-инженер, RAG и LLM

О компании

Pleo — компания, создающая решения для управления расходами. Более 40 000 клиентов, команда из 850+ человек более чем 100 национальностей. Компания помогает бизнесу выходить за рамки и уже 10 лет работает на рынке.

О роли

Вы будете подчиняться старшему менеджеру по продуктам Data & AI. Вы станете одним из первых в команде, но будете работать в тесном сотрудничестве с инженерами и дата-сайентистами. Команда покрывает полный цикл от данных до выпущенного продукта. Основной фокус — создание и выпуск AI-функций, совместно с командами Product Engineering, AI Platform и Data & ML Platform.

Задачи

• Создавать и выпускать AI-функции для клиентов Pleo, отвечая за результат от начала до конца в своей области.
• Проектировать и создавать RAG-системы для конкретных продуктовых сценариев: стратегии чанкинга, выбор эмбеддинг-моделей, оптимизация поиска и оценка качества.
• Управлять полным жизненным циклом AI-продукта: дизайн промптов, управление контекстом и состоянием, агентные циклы, парсинг вывода, обработка крайних случаев и безопасный продакшн.
• Создавать оценочные датасеты и автоматизированные пайплайны оценки, чтобы команда была уверена в качестве AI-функций до и после изменений.
• Настраивать наблюдаемость AI-функций в продакшене: логирование, обнаружение дрейфа, мониторинг качества и алертинг.
• Совместно с Product и Design определять объём AI-функций с нуля; вы соавтор того, что создаётся, а не просто исполнитель спецификаций.
• Взаимодействовать с командой GenAI Platform для определения потребностей в инфраструктуре и продвигать использование платформенных инструментов.
• Поддерживать других инженеров через ревью, парное программирование и прагматичное техническое лидерство в ваших проектах.

Требования

• Подтверждённый опыт выпуска пользовательских AI-функций с использованием LLM — не прототипов, а реальных продакшен-систем с реальными пользователями.
• Глубокий практический опыт проектирования RAG-систем и полного пайплайна поиска: эмбеддинг-модели, векторные базы данных, чанкинг, гибридный поиск, реранкинг.
• Опыт создания и эксплуатации фреймворков оценки для LLM-систем; системный подход к измерению качества.
• Сильные навыки Python-разработки: код продакшен-качества, протестирован и поддерживаем.
• Опыт создания API и пайплайнов получения данных для подачи контекста в AI-системы.
• Достаточная интуиция в работе с данными, чтобы рассуждать о качестве данных, схеме и архитектуре поиска без постоянной поддержки выделенного дата-инженера.
• Опыт с паттернами агентных систем: использование инструментов, многошаговая оркестрация, обработка ошибок в LLM-процессах.
• Знакомство с публичными облачными провайдерами (AWS, GCP).
• Платформа использует несколько языков, включая Kotlin и Python. Роль ориентирована на Python, но время от времени потребуется вносить вклад в Kotlin-стек, поэтому важна открытость к этому.

Качества

• Сильное продуктовое чутьё и ориентация на пользователя. Вы понимаете, что модель хороша настолько, насколько хороша решаемая ей проблема.