LLM Systems Engineer, RAG и backend

PLEXIS Healthcare Systems, Inc. — компания по разработке программного обеспечения в Медфорде, Орегон. Ищут LLM Systems Engineer в отдел Special Ops.

Кандидат должен находиться в районе Южного Орегона / долины Роуг. Требуется работать в офисе минимум 3 дня в неделю, остальные дни можно работать удалённо или в офисе.

Задачи:

• Проектирование, разработка и поддержка RAG-пайплайнов для функций на основе LLM.
• Загрузка, структурирование и управление данными из PDF, репозиториев документов, баз данных и полуструктурированных источников.
• Реализация стратегий чанкинга, эмбеддингов, поиска и реранжирования для повышения точности поиска.
• Разработка и поддержка механизмов контекста и памяти для взаимодействий с LLM, включая стратегии релевантности и суммаризации.
• Применение поведенческих и доменных ограничений (guardrails) для управления выводами модели и предотвращения небезопасных ответов.
• Поддержка рабочих процессов эскалации Human-in-the-Loop (HITL) для чувствительных или неоднозначных сценариев.
• Сбор и учёт явной и неявной обратной связи пользователей для улучшения поведения системы.
• Внедрение логирования и наблюдаемости для входов LLM, извлечённого контекста, выходов и событий guardrails.
• Помощь в отладке, ревью и настройке производительности систем.
• Сотрудничество с кросс-функциональной командой в agile-среде.

Требования:

• 1–3 года профессионального опыта разработки программного обеспечения.
• Опыт работы бэкенд- или фулстек-разработчиком с API и пайплайнами данных.
• Практический опыт работы с LLM и прикладными системами в рамках профессиональной работы, побочных проектов или прототипов.
• Понимание эмбеддингов, поиска и ограничений контекстного окна LLM.
• Знакомство с концепциями RAG.
• Способность рассуждать о точности модели, галлюцинациях и ограничениях системы.
• Сильные навыки решения проблем и комфорт в неоднозначных, исследовательских задачах.
• Навыки эффективной коммуникации и сотрудничества с техническими и нетехническими командами.

Будет плюсом:

• Опыт работы с инструментами или фреймворками для LLM.
• Опыт в регулируемых или высоконадёжных доменах, таких как здравоохранение, страхование или финансы.
• Знакомство с инструментами логирования, мониторинга или наблюдаемости.
• Опыт участия в production-системах, связанных с автоматизацией.

Условия:

• Конкурентный пакет здравоохранения: медицинская, стоматологическая, офтальмологическая страховка и 401K.
• Пакет оплачиваемого отпуска и больничных.