Senior LLM Inference Backend Engineer

YADRO Senior LLM Inference Backend Engineer Опыт работы: 3–6 лет Полная занятость График: 5/2 Формат работы: удалённо или гибрид

Чем предстоит заниматься

Инфраструктура и высоконагруженный инференс (Platform Engineering):

• Проектирование и поддержка GPU-кластера инференса (Nvidia) для десятков тысяч пользователей: скалирование, балансировка и приоритизация запросов, пользовательские лимиты
• Оптимизация производительности: кэширование, батчинг и т.д.
• Надежность и observability: обеспечение SLA и предотвращение регрессий
• Оценка и внедрение новых LLM

Продуктовая разработка (LLM Application):

• Разработка AI-сервисов: AI Code Assistant (Co-Pilot), AI Chat, AI Code Review
• Проектирование пайплайнов автоматизаций: tool/function calling, обработка ошибок, управление контекстом/состоянием
• Интеграции: встраивание AI-сервисов в корпоративную среду (API, БД, legacy-системы)

Исследования и прототипирование (R&D):

• Проведение экспериментов, создание MVP и выстраивание пути доведения до продакшена
• Исследование новых технологий и подходов для улучшения продуктов

Наши пожелания к кандидатам

Экспертиза в Python & Backend:

• Опыт разработки на Python (5+ лет), знание стандартов: typing, асинхронность, паттерны проектирования
• Опыт создания высоконагруженных API (FastAPI или аналоги), работа с очередями, воркерами и фоновыми задачами

Архитектура и надежность (Production):

• Опыт построения gateway/router, управление ключами, маршрутизация, пользовательские лимиты
• Опыт поддержки высоконагруженных сервисов в продакшене: стабильность контрактов, обработка ошибок

Глубокие знания LLM & Inference:

• Опыт работы с инструментами инференса (vLLM, SGLang, OpenAI API), понимание их внутренней работы
• Опыт настройки инференса под highload: latency/throughput, управление GPU-ресурсами
• Опыт построения решений с tool/function calling: MCP, guardrails, борьба с галлюцинациями