QA-инженер GenAI/LLM

В команду AI Software & Platform компании Cisco ищут QA-инженера, который возглавит стратегию качества крупномасштабных продуктов и платформ генеративного ИИ.

Задачи:

• Определять, как валидировать AI-сервисы, распределённые системы и сквозной клиентский опыт.
• Проектировать масштабируемые подходы к тестированию и автоматизации для AI-пайплайнов, API, пользовательских интерфейсов, федеративных микросервисов и мультитенантных SaaS-архитектур.
• Выстраивать практики готовности к релизу: измеримые quality gates, прослеживаемость тестов, среды, репрезентативные для продакшена, и критерии Go/No-Go на основе данных.
• Анализировать деградацию моделей, сбои систем и нестабильность тестов, проводить root-cause анализ и повышать надёжность AI-платформы.
• Работать с командами Engineering, Product, UX, DevOps, Documentation и Customer Engineering, наставлять QA-инженеров и продвигать практики quality-first.

Требования:

• Степень бакалавра в Computer Science, Engineering или смежной области и 7+ лет релевантного опыта; либо магистр и 4+ года опыта; либо PhD и 1+ год опыта.
• Опыт проектирования и внедрения тестовых стратегий, фреймворков автоматизации и тестовой инфраструктуры для распределённых систем, облачных платформ или SaaS-продуктов.
• Опыт разработки на Python и работы с фреймворками автоматизированного тестирования: Pytest, Playwright, Selenium или аналогами.
• Опыт валидации фронтенда и бэкенда, включая REST и/или GraphQL API, интеграции сервисов, CI/CD-пайплайны и распределённые микросервисные архитектуры.
• Опыт определения критериев качества релиза и диагностики сложных сбоев с использованием результатов тестов, логов, метрик и других инженерных данных.

Будет плюсом:

• Опыт тестирования генеративного ИИ, AI/ML-платформ, AI-агентов, приложений на LLM или других AI-продуктов, включая оценку качества и деградации моделей.
• Опыт проектирования QA-процессов с помощью AI-агентов и инструментов вроде Cursor, Claude, Codex CLI или аналогов, включая оркестрацию тестов на базе агентов или MCP.
• Опыт тестирования мультитенантных облачных платформ и управления сложными AI-тестовыми средами с датасетами, версиями моделей, feature flags, Kubernetes и технологиями деплоя, такими как ArgoCD.
• Подтверждённый опыт построения масштабируемых тестовых фреймворков и внедрения практик качества в нескольких инженерных командах, включая наставничество QA- или software-инженеров.
• Знание требований безопасности, приватности, управления данными или комплаенса для корпоративных SaaS и AI-продуктов.