Senior QA-инженер по тестированию AI

Tellent ищет Senior Quality Engineer – Tellent Intelligence (AI). Роль предполагает ответственность за качество AI-функций, построенных на больших языковых моделях (LLM) и AI-агентах, обеспечение их надёжности, безопасности и высокого качества для клиентов. Также нужно расширять покрытие end-to-end тестами на Playwright и разрабатывать подходы к валидации AI-систем, где качество выходит за рамки функциональной корректности.

Задачи

• Совместно с другими Quality Engineers реализовывать стратегию автоматизации тестирования в домене Tellent Intelligence, совместно владеть ею и постоянно улучшать по мере развития платформы.
• Работать с разработчиками, AI-инженерами и коллегами-QE, чтобы закладывать качество на ранних этапах разработки, делиться знаниями и совместно формировать практики тестирования.
• Проектировать и выполнять комплексные тест-планы, тест-кейсы и автоматизированные наборы тестов для фронтенда, бэкенда и AI-функциональности.
• Становиться экспертом по продукту, чтобы заранее выявлять риски и принимать решения о качестве в домене Tellent Intelligence.
• Проектировать и выполнять стратегии тестирования AI-функций, проверяя не только функциональную корректность, но и качество, релевантность, согласованность и безопасность выходных данных AI.
• Разрабатывать подходы к тестированию недетерминированных систем: создавать оценочные датасеты, определять бенчмарки качества, выявлять галлюцинации, предвзятость, регрессии и проблемы, связанные с промптами, по мере изменения моделей и промптов.
• Совместно с инженерами валидировать изменения промптов, поведение AI-агентов и защитные механизмы безопасности, чтобы AI работал надёжно и ответственно до попадания к клиентам.
• Непрерывно улучшать оценку качества AI: помогать устанавливать лучшие практики, метрики качества и фреймворки тестирования для приложений на LLM.

Требования

• Сильный опыт в QA: несколько лет практической работы в quality engineering с владением тестированием сложных веб-приложений на уровне senior.
• Опыт тестирования приложений на базе AI, продуктов на LLM, разговорного AI или систем машинного обучения будет большим плюсом. Если прямого опыта с AI нет, важно желание учиться и применять принципы quality engineering в этой быстро развивающейся области.
• Опыт построения и поддержки end-to-end тестовых наборов в Playwright.
• Навыки тестирования API и бэкенд-сервисов.
• Баланс продуктового и технического мышления: способность обсуждать поведение продукта и углубляться в технические детали.
• Понимание вызовов тестирования AI: знакомство с концепциями prompt engineering, AI-агентов, галлюцинаций, предвзятости моделей, оценочных датасетов и принципов AI safety будет плюсом.
• Аналитический склад ума: умение определять ожидания по качеству для систем с вариативными выходными данными, сохраняя отличный пользовательский опыт.
• Свободный английский для ежедневной работы. Польский будет плюсом.

Условия

• Гибридный или удалённый формат работы в Амстердаме, районе Кёльна или Польше.
• Возможность влиять на развитие одного из самых амбициозных европейских scale-up и участвовать в ключевой технологической трансформации компании.
• Работа в разнообразной мультикультурной команде с дружелюбным отношением к удалённой работе.
• Ежегодный бюджет на обучение €1 500 + 2 выделенных дня на обучение.
• Пенсионный план, компенсация транспортных расходов и wellness-льготы.
• 28 оплачиваемых дней отпуска + 2 дополнительных дня для отдыха.
• Возможность работать откуда угодно 4 недели в году.
• Apple MacBook и инструменты топового уровня.
• Бюджет на домашний офис €200.

Примечание: льготы могут отличаться в зависимости от места трудоустройства. Указанный диапазон зарплаты основан на диапазоне для Нидерландов; диапазоны зарплат могут различаться в зависимости от локации.