LLM DevOps / Inference Engineer

Xaxis Solutions ищет LLM DevOps / Inference Engineer для поддержки платформы оценки и бенчмаркинга ИИ в сфере здравоохранения. Роль включает владение инфраструктурой для тестового стенда, стеком самостоятельного хостинга моделей и надежностью платформы, включая предоставление GPU-инфраструктуры, оптимизацию инференса моделей и управление облачными системами AWS.

Задачи:

• Строить и поддерживать AWS-инфраструктуру с помощью Terraform, включая сети, вычисления, оркестрацию, секреты, наблюдаемость и CI/CD
• Развертывать и управлять самостоятельным хостингом LLM-инференса на GPU-инфраструктуре
• Внедрять стратегии батчинга, квантизации, автоскейлинга и мульти-GPU для эффективного инференса
• Разрабатывать стандартизированные процессы быстрого подключения новых моделей
• Создавать слои абстракции провайдеров для API-моделей, таких как OpenAI, Anthropic и Gemini, а также для самостоятельного хостинга моделей
• Внедрять ограничение скорости, повторы, экспоненциальную задержку, управление квотами, логирование запросов и ответов и атрибуцию затрат
• Обеспечивать воспроизводимость и экономичность бенчмарк-запусков через закрепленные версии моделей и контейнеров и оптимизированную облачную мощность
• Строить дашборды наблюдаемости, охватывающие пропускную способность, задержку, использование токенов, стоимость GPU-часов, сбои и производительность по моделям
• Поддерживать пиковые нагрузки, предотвращая осиротевшие или ненужные облачные ресурсы
• Участвовать в архитектуре доверенной среды исполнения (TEE) и оценивать AWS Nitro Enclaves и аналогичные решения конфиденциальных вычислений

Требования:

• Практический опыт запуска и управления контейнерами инференса
• Сильный опыт построения и поддержки AWS-инфраструктуры как кода, включая сети, вычисления, оркестрацию, секреты, наблюдаемость и CI/CD
• Опыт работы в стартапе или среде с быстрым темпом
• Сильный опыт работы с ИИ/LLM и модельной инфраструктурой
• Отличные коммуникационные навыки
• Граждане США получат приоритет
• Активный и полный профиль LinkedIn
• Опыт работы с продакшн-масштабной AWS-инфраструктурой
• Сильное знание EKS/ECS, EC2 GPU-инстансов (G5/G6, P4d/P5), VPC, IAM, KMS, Secrets Manager, ECR, CloudWatch и Service Quotas
• Сильный опыт Terraform / Infrastructure as Code
• Практический опыт с обслуживанием LLM-моделей и оптимизацией инференса
• Практические знания стратегий батчинга, поведения KV-кэша, квантизации и мульти-GPU шардинга
• Опыт управления GPU-нагрузками с EKS/ECS, автоскейлингом узлов и контейнерными пайплайнами на CUDA
• Сильный опыт в области надежности и оптимизации затрат, включая SLO, мониторинг, алертинг и оптимизацию облачных затрат
• Опыт с AWS SageMaker и Bedrock
• Сильные навыки разработки на Python
• Знание конфиденциальных вычислений, включая Enclaves, удаленную аттестацию и защищенный выпуск ключей
• Понимание комплаенса в здравоохранении, включая сервисы, соответствующие HIPAA, требования BAA, аудит-логирование и контроль доступа к PHI
• Опыт усиления безопасности, сканирования образов и контроля сетевого исходящего трафика

Компания Xaxis Solutions — консалтинговая компания по управлению, предоставляющая клиентам экономически эффективные решения. Основана в undefined, штаб-квартира в Миссиссоге, Онтарио, Канада, штат 2–10 сотрудников.