Российские железные дороги Опубликована 10 дней назад · отклик: Сайт вакансий
AI/LLM-инженер, RAG и инференс LLM
ЗарплатаПо договорённости
ФорматГибрид
ЛокацияМосква, Россия
ЗанятостьПолная занятость
Компания: ОАО «РЖД», Центр цифровых технологий.
Внедрение больших языковых моделей (LLM) для внутренних процессов компании. Специфика — строгие требования информационной безопасности: внешние API (OpenAI, Claude и др.) не используются. Все модели, векторные базы и пайплайны работают локально в закрытом контуре (On-Premise).
Задачи:
- Инференс: разворачивать и поддерживать локальные LLM (Llama-3, Qwen, Mistral и др.) с использованием Ollama, vLLM или TGI.
- Backend: писать микросервисы на Python (FastAPI) для интеграции локальных моделей с внутренними системами (CRM, ERP, базы знаний).
- RAG: проектировать пайплайны поиска по корпоративным документам (парсинг файлов, чанкинг, генерация эмбеддингов, работа с векторными БД).
- Оптимизация: экспериментировать с квантованными моделями (GGUF, AWQ, GPTQ) для запуска на ограниченных GPU-ресурсах.
- Оркестрация: разворачивать готовые Open-Source решения (Dify, Open WebUI, AnythingLLM) для быстрого предоставления AI-инструментов сотрудникам.
Требования:
- Уверенное владение Python (от 2 лет), опыт создания бэкенда (FastAPI / Aiohttp).
- Хорошее знание Linux и Docker (написание Dockerfile, docker-compose, проброс портов и GPU).
- Опыт работы с реляционными БД (PostgreSQL).
- Практический опыт с LLM: локальный запуск моделей, понимание контекстного окна, токенизации, температуры, System Prompt.
- Знание фреймворков для работы с LLM (LangChain или LlamaIndex).
- Умение самостоятельно разбираться в документации новых Open-Source проектов на GitHub и разворачивать их.
Будет плюсом:
- Понимание работы NVIDIA Container Toolkit и базовый мониторинг видеокарт (nvidia-smi, nvtop).
- Опыт работы с vLLM, TensorRT-LLM.
- Опыт работы с векторными БД (pgvector, Milvus, Qdrant, Chroma).
- Понимание методов квантования и их влияния на качество модели.
- Знание базовых принципов ИБ (маскирование данных, ролевая модель доступа).
Условия:
- Гибридный формат работы, офис у м. Красные ворота.
- Оформление по ТК РФ, заработная плата по результатам собеседования.
- Ежегодная индексация оплаты труда.
- ДМС, собственная система здравоохранения, включая стоматологию.
- Компенсация абонемента в спортклуб, спортивные активности компании.
- Бесплатный проезд ж/д транспортом поездами дальнего следования (1 раз в год).
- Бесплатный пригородный проезд ж/д транспортом.
- Ежегодная материальная помощь к отпуску.
- Льготная ипотека для сотрудников.
- Обучение в Корпоративном университете компании.
Инструменты в вакансии
Навыки и технологии
Направления