Задачи

Интеграция LLM в продукты и сервисы (API, backend, пайплайны обработки данных);
Оценка качества ответов моделей (автоматические метрики, human eval);
Обеспечение безопасности, фильтрации и соответствия этическим требованиям (guardrails);
Построение RAG-систем: индексация данных, работа с векторными БД, оптимизация качества поиска и генерации;
Взаимодействие с продуктовой и ML-командой, участие в архитектурных решениях;
Оптимизация производительности и стоимости инференса (квантизация, batching, caching);
Работа с мультимодальными моделями (текст, изображения, документы — при необходимости);
Проектирование, обучение и дообучение LLM (fine-tuning, instruction tuning).

Требования

Высшее образование (IT, техническое, математическое);
Уверенное владение Python, SQL;
Хорошие знания в области теории вероятностей, математической статистики, алгоритмов машинного обучения ML;
Знания в области NLP алгоритмов;
Понимание деталей работы LLM и того, как происходит их дообучение и инференс;
Опыт деплоя ML/LLM решений (Docker, Kubernetes, cloud);
Опыт работы с prompt engineering, fine-tuning / PEFT (LoRA, adapters), RAG-подходами;
Опыт реализации агентских сценариев;
Опыт работы с векторными базами данных: оптимизация индексов, запросов;
Опыт с фреймворками: LangChain, LlamaIndex, Hugging Face;
Знание методов оценки LLM (BLEU, ROUGE, MMLU, custom evals);
Опыт оптимизации инференса (vLLM, TensorRT, ONNX);
Опыт работы с мультимодальными моделями.