Сбер. IT Опубликована 13 дней назад · отклик: Сайт вакансий
Senior/Lead QA-инженер AI/LLM-продуктов
ЗарплатаПо договорённости
ФорматОфис
ЛокацияМосква, Россия
ГрейдSenior / Lead
ЗанятостьПолная занятость
Сбер. IT разрабатывает AI-инструменты, LLM-платформу и автоматизацию на базе ИИ. Ищем QA-инженера, который будет отвечать за качество AI-продуктов: от классического функционального тестирования до оценки качества ответов LLM и устойчивости промптов. Тестирование AI-систем отличается недетерминированным результатом: правильный ответ не всегда один, а баг может проявляться в 1 случае из 20.
Условия
- Формат работы: на месте работодателя, офис в Москве; на период испытательного срока офисный формат, далее возможен гибридный.
- Занятость: полная, график 5/2, 8 рабочих часов.
- Зарплата: по договорённости.
- В шапке объявления указан опыт работы 3–6 лет; в требованиях отдельно указан опыт в тестировании от 5 лет.
- Ежегодный пересмотр зарплаты.
- Корпоративный спортзал и зоны отдыха.
- Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
- Программа адаптации и помощь руководителя на старте (для Junior позиций).
- Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
- Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ.
- Подписка СберПрайм с возможностью совместного использования на трёх близких.
- Вознаграждение за рекомендацию друзей в команду Сбера.
Задачи
- Функциональное и регрессионное тестирование продуктов с LLM-компонентами: веб-интерфейсы, API, интеграции.
- Разработка и поддержка наборов тестовых сценариев для оценки качества ответов моделей: evaluation datasets, golden sets.
- Тестирование промптов: проверка устойчивости к перефразированию, edge-кейсам, инъекциям и джейлбрейкам.
- Оценка ответов LLM по критериям: точность, полнота, галлюцинации, соответствие формату (structured output / JSON schema).
- Анализ недетерминированного поведения: воспроизведение плавающих дефектов, статистическая оценка стабильности.
- Автоматизация рутинных проверок на Python (pytest): smoke-тесты API, прогоны evaluation-сценариев, скрипты для массовой проверки ответов модели.
- Тестирование API-интеграций с LLM-провайдерами: лимиты, ретраи, обработка ошибок, стриминг.
- Ведение тестовой документации, баг-репортов, участие в приёмке фич.
- Взаимодействие с разработчиками и ML-инженерами при разборе дефектов.
Требования
- Опыт в тестировании от 5 лет (ручное + автоматизация).
- Практический опыт работы с AI-инструментами: ChatGPT, Claude, Copilot и аналоги — как рабочий инструмент, не на уровне «пробовал».
- Понимание основ промпт-инжиниринга: структура промпта, few-shot, chain-of-thought, sdd, работа с системными промптами.
- Уверенное тестирование API (Postman / curl / HTTP-клиенты), чтение JSON, понимание REST.
- Понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и параметры генерации.
- Python на базовом уровне для автотестирования: умение написать и поддерживать автотесты (pytest / requests / playwright), понимание структуры тестового проекта, работа с фикстурами и ассертами.
- Умение писать чёткие баг-репорты и тест-кейсы, включая случаи «модель ответила неправильно» с воспроизводимыми условиями.
Будет плюсом
- Продвинутая автоматизация UI (Playwright / Selenium), опыт построения фреймворков с нуля.
- Опыт построения LLM-evaluation пайплайнов (promptfoo, LangSmith, Ragas, собственные фреймворки).
- Понимание RAG-архитектур.
- Опыт тестирования безопасности LLM: prompt injection, jailbreaks, утечки данных.
Инструменты в вакансии
Навыки и технологии
Направления