QA-инженер по тестированию ИИ-систем

Опыт работы: 1–3 года. Занятость: полная. График: 5/2, 8 рабочих часов в день. Формат: на месте работодателя или гибрид.

Основная задача: ответственность за качество ИИ-решений — определение критериев приёмки, контроль качества и принятие окончательного решения о допуске релизов в промышленную эксплуатацию.

Обязанности:

• Развитие EvalOps: автоматизированные прогоны, регрессионные проверки, встраивание в CI/CD.
• Подготовка эталонных выборок и разработка детерминированных проверок совместно с экспертами.
• Настройка LLM-as-a-Judge и калибровка оценок.
• Анализ трасс выполнения, определение источников ошибок, воспроизведение и проверка дефектов.
• Проверка вызовов инструментов, параметров и обработки ошибок.
• Контроль регрессий после запуска и решение об откате.
• Проверка устойчивости к prompt injection.
• Разработка автотестов на Python (pytest, asyncio, SDD/TDD).

Требования:

• Уверенное владение Python для разработки автотестов и обработки результатов (pytest, httpx, asyncio), знание SQL.
• Практический опыт тестирования LLM и агентских систем, разработки эталонных выборок и автоматизированных проверок.
• Понимание работы LLM, управления контекстом, tool calling, skills и MCP; умение оценивать весь сценарий выполнения задачи, включая действия и итоговые артефакты.
• Знание тест-дизайна, негативных и граничных сценариев; понимание вариативности ответов, необходимости повторных прогонов и сопоставимых условий сравнения.
• Умение сочетать детерминированные проверки и LLM-as-a-Judge, проверять качество самого оценщика и разбирать ошибки валидаторов.
• Обязательный практический опыт разработки автоматизированных проверок с использованием ИИ-агентов через SDD и TDD, включая проверку предлагаемых агентом изменений.
• Опыт работы с Git, GitLab CI и Docker, интеграции проверок качества в CI/CD.
• Умение формулировать критерии допуска, документировать результаты и обосновывать решения о выпуске, блокировке или откате перед разработчиками и бизнес-заказчиками.
• Опыт работы с Langfuse, анализа агентских трасс и тестирования устойчивости к prompt injection является преимуществом.

Условия:

• Стабильный «белый» доход и полноценный соц. пакет.
• График работы 5/2 с 9:00 до 18:00.
• Возможен гибридный формат работы (обсуждается индивидуально).
• Корпоративный университет для внутреннего и внешнего профильного обучения.
• Перспективы карьерного роста — горизонтального и вертикального.
• Программа ДМС с обслуживанием в лучших клиниках города.
• Корпоративные команды по футболу, волейболу, бегу, а также скидки на фитнес-абонементы.
• Эксклюзивная программа корпоративных привилегий и скидок Primezone.
• Корпоративная мобильная связь.