Промт-инженер GenAI / LLM

Мы ищем опытного GenAI Prompt Engineer для проектирования, разработки, тестирования и оптимизации промтов для чат-ботов на базе LLM, AI-агентов и систем Retrieval-Augmented Generation (RAG). Кандидат будет переводить бизнес-требования в надёжные промты и рабочие процессы агентов, обеспечивая точность, согласованность, безопасность и измеримые улучшения производительности.

Задачи

• Проектировать, тестировать и дорабатывать промты для максимизации точности, релевантности и согласованности.
• Строить фреймворки оценки, включая A/B-тестирование, бенчмаркинг, эталонные наборы данных и оценку на основе рубрик.
• Применять глубокие знания о поведении LLM, контекстных окнах, токенизации и выборе между дообучением и промтингом.
• Сотрудничать с продуктовыми, инженерными командами и командами data science для проектирования промтов и рабочих процессов агентов.
• Внедрять меры безопасности промтов, включая предотвращение джейлбрейков, снижение предвзятости и guardrails.
• Поддерживать версионирование промтов, регрессионное тестирование и непрерывную оптимизацию.

Требования

• 5+ лет опыта в ролях Software, Data или Applied AI.
• Минимум 1+ год практического опыта промт-инжиниринга с LLM в продакшене.
• Сильный опыт скриптинга на Python и интеграции API.
• Практический опыт работы с GPT и Claude.
• Опыт работы с инструментами оркестрации LLM, такими как LangChain.
• Опыт проектирования фреймворков оценки и улучшения производительности LLM.
• Рабочее знание архитектур RAG и паттернов AI-агентов.
• Опыт работы с tool calling и рабочими процессами агентов.
• Сильные навыки анализа данных для интерпретации результатов оценки.