Middle-Senior LLM-инженер, LLM-приложения
Мы ищем middle-senior LLM Application Engineer на удалённый месячный ретейнер для проектирования, выпуска и укрепления production-пайплайнов для клиентских продуктов. Вы будете отвечать за структурированное извлечение и классификацию, превращающие неструктурированные реальные входные данные (email, HTML, PDF, изображения) в надёжные продуктовые данные, с измеримыми порогами качества, evals и контролем затрат. Работа с бэкендами в стиле Firebase / GCP совместно с product, mobile и QA. Нужен человек, который уже выпускал LLM-приложения для реальных пользователей, а не только демо. Требуется сильное владение LLM и особенно мультимодальными промптами, структурированными выходами, режимами отказа и компромиссами между стоимостью и задержкой, а также опыт с другими провайдерами.
Обязанности:
- Владеть production LLM-пайплайнами от начала до конца: ingestion, мультимодальные вызовы моделей, структурированные записи и хранение, включая флаги уверенности, повторы и идемпотентные повторные сканирования.
- Проектировать стратегии промптов и схем (включая schema-aligned или constrained outputs), чтобы результаты были согласованными и готовыми к продукту.
- Строить слои классификации и фильтрации поверх извлечения (маппинг таксономии, демографические или аудиторные фильтры, дедупликация и связанная логика очистки).
- Определять и запускать evaluation harnesses (golden sets, регрессионные наборы, онлайн-метрики), чтобы качество не регрессировало при изменении промптов, моделей или парсеров.
- Достигать и отчитываться по жёстким целям качества (гейты в стиле полноты, дубликатов, некорректных включений, наличия изображений и аналогичных продуктовых SLA).
- Оптимизировать использование токенов, тиринг моделей, кэширование и батчинг, чтобы держать доллары-за-запуск и задержку под контролем.
- Укреплять надёжность длительных асинхронных задач (таймауты, частичное восстановление, лимиты памяти, безопасные production-деплои).
- Работать с Flutter / mobile и QA по контрактам полей, очередям проверки и отладке.
- Документировать архитектуру и runbooks, чтобы ответственность была разделяемой, а не единой точкой отказа.
- Следить за LLM и peer LLM API; рекомендовать, когда менять модели, добавлять fallbacks (например, document) или схемы.
Требования:
- Опыт выпуска LLM-приложений в production (не только демо): промпты, структурированные выходы, повторы, наблюдаемость и реальная обработка отказов.
- Сильный практический опыт с LLM, включая мультимодальные (текст + изображение / документы) рабочие процессы и структурированное извлечение.
- Практический опыт как минимум с одним другим LLM (например, ...) и хорошее суждение, когда какой использовать.
- Структурированное извлечение из неструктурированных входных данных: HTML, PDF, изображения и смешанный контент вроде email.
- Классификация / таксономия поверх выходов LLM.
- Дисциплина оценки: офлайн evals, регрессионные наборы и метрики production-качества, привязанные к чётким критериям приёмки.
- Понимание стоимости и задержки: бюджетирование токенов, более дешёвые тиры, кэширование, батчинг; умение объяснить компромиссы долларов-за-запуск PM.
- Опыт Python-бэкенда на serverless-облаке (Cloud Functions или эквивалент) и документных хранилищах (например, Firestore) или аналогичных паттернах GCP.
- Английский на уровне C1 или выше для отладки с клиентами и PM.
- Пересечение по времени с США примерно до 17:00 EST, когда нужна живая координация.
- Привычки владения: честные оценки, раннее сообщение о блокерах, завершённые релизы.
Будет плюсом:
- Schema-aligned LLM-фреймворки (BA...)
Условия:
- Удалённая работа.
- Месячный ретейнер.
- Оплата по договорённости.