QA-инженер (AI/ML)

О нас

Группа Rubytech — лидирующий производитель программно-аппаратных комплексов и разработчик технологий для высоконагруженных ИТ-инфраструктур. Мы выпускаем собственную линейку ПАК Скала^р, а также строим и защищаем от киберугроз инфраструктуру, обеспечивая бесперебойную работу крупного бизнеса и государственных организаций.

Требования

• Опыт тестирования AI/ML-компонентов и сервисов
• Опыт работы с фреймворками: LangChain, LlamaIndex, RAGAS, Langfuse
• Опыт тестирования RAG-пайплайнов: качество retrieval (Hit Rate, MRR, NDCG@K), релевантность ответов, groundedness
• Знание Python, SQL, REST API
• Знание метрик оценки LLM
• Понимание принципов работы агентских систем, MCP

Будет плюсом

• Опыт работы с Postman, Selenium, PyTest
• Оценка экономической эффективности: контроль token usage, cost per request, API-лимитов
• Понимание интеграционного тестирования: коннекторы к Active Directory, MS SharePoint, Confluence, мессенджерам и пр.
• Навыки тестирования ИБ: prompt injection, jailbreak-атаки, проверка утечки PII (паспорта, телефоны), data leakage системных промптов

Условия работы

• Уютный, комфортный и современный офис в пешей доступности от м. Алексеевская, где есть все необходимое для работы и даже больше: дежурный врач, кафе и столовая, кофе и фрукты, фитнес-центр, коворкинг и многое другое
• Стабильный и «белый» конкурентный доход, который мы обсудим при встрече
• Удобный график — гибрид или офис (в зависимости от подразделения)
• Работа в аккредитованной ИТ-компании из реестра Минцифры (отсрочка от мобилизации)
• Профессиональный рост, обучение и развитие, участие в проекте «Лекторий Rubytech»
• Развитые спортивные комьюнити: футбол, волейбол, баскетбол и шахматы
• ДМС для вас и вашей семьи на особых условиях
• Тимбилдинги, митапы и другие корпоративные мероприятия
• Скидки у 500+ партнеров (платформы BestBenefits и Lerna)

Ждем вас в нашей команде!