QA-инженер по тестированию AI-агентов и LLM

Компания Techno Diasoft — аккредитованная IT-компания, основанная в 2008 году. Специализируется на разработке высоконагруженных FinTech-проектов, умных устройств, голосовых ассистентов, решений в области биометрии и искусственного интеллекта. Флагманский продукт — автоматизированная банковская система xBank. В компании более 300 сотрудников.

Условия:

• Опыт работы: 3–6 лет
• Занятость: полная
• График: 5/2, 8 рабочих часов в день
• Формат: гибрид (Москва)
• Зарплата: до 200 000 ₽ в месяц до вычета налогов

Стек: PostgreSQL, Apache Kafka, OpenShift/DropApp, Qdrant, LangChain/LangGraph, Grafana, Prometheus, OpenTracing/OpenTelemetry, Python, Postman/Insomnia, Fiddler/Charles Proxy, Zephyr Scale.

Задачи:

• Интеграционное тестирование: REST/gRPC, Kafka (очереди, статусы, повторная обработка), валидация данных между сервисами и базой данных.
• Регресс и релиз: участие в подготовке к релизу, функциональное и регрессионное тестирование продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции).
• Покрытие сценариев тестами: разработка и поддержка наборов тестовых сценариев, включая наборы для оценки качества ответов моделей (evaluation datasets, golden sets).
• Валидация LLM-ответов и пайплайнов: проверка релевантности, галлюцинаций, заземлённости (grounding) и согласованности ответов, соответствие формату (structured output / JSON schema).
• Безопасность и соответствие: проверка на утечки чувствительной информации, валидация входных данных, контроль уязвимостей в зависимостях, соответствие внутренним политикам.
• Работа с промптами: тестирование промптов на устойчивость к вариациям формулировок, adversarial-запросы, проверка поведения при «краевых» и «токсичных» запросах.
• Тестирование агентных сценариев: проверка логики Human-in-the-loop, обработки таймаутов и повторных попыток.
• Дополнительно: проверка качества данных и RAG — валидация корпуса, метрик поиска (точность, полнота), проверка сценариев «нет релевантных документов», «шумные документы», «неоднозначные запросы».

Ожидания от кандидата:

• Опыт тестирования веб-сервисов (frontend + backend) от 2–3 лет (manual + auto).
• Уверенное тестирование API (REST/gRPC), WebSocket, очередей, микросервисной архитектуры.
• Понимание SDLC, STLC и практик CI/CD, умение встраивать качество в производственный процесс.
• Понимание клиент-серверной и микросервисной архитектуры, а также retry, eventual consistency, идемпотентности и асинхронных процессов.
• Уверенное владение SQL, опыт написания запросов и валидации данных в базе данных (PostgreSQL или аналогами).
• Работа с системами трассировки и мониторинга (OpenTracing/OpenTelemetry, Grafana, Prometheus), понимание логов и алертов.
• Умение самостоятельно работать в условиях высокой неопределённости.
• Умение наладить эффективную коммуникацию и взаимодействие с коллегами.
• Понимание основ промпт-инжиниринга: структура промпта, few-shot, chain-of-thought, работа с системными промптами.
• Умение проектировать тестовые сценарии под неопределённость и вариативность ответов LLM.
• Понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и параметры генерации.
• Опыт работы с таск-трекерами (Jira или аналогами).

Дополнительно:

• Понимание принципов работы LLM и агентных систем: Tool-use, мультиагентные сценарии (Plan-and-Execute, Reflection, Handoff), RAG.
• Понимание базовых метрик качества LLM: точность, полнота, F1, BLEU/ROUGE (или альтернативные метрики), умение интерпретировать результаты.

Опциональные требования:

• Опыт тестирования безопасности LLM: prompt injection, jailbreaks, утечки данных.
• Опыт тестирования RAG-систем: оценка качества поиска, подбор метрик, работа с эмбеддингами.
• Практический опыт валидации LLM-ответов: ручная разметка, сравнение моделей, A/B-сравнение.
• Понимание MCP-протокола и MCP-сервера, тестирование агентных инструментов.
• Опыт работы с Kubernetes, Docker, Helm, CI/CD (GitLab CI, Jenkins).
• Навыки автоматизации тестирования на Python с применением AI-инструментов.