ML-инженер по LLM-приложениям и RAG-системам

Работодатель — один из крупнейших академических медицинских центров в Нью-Йоркской метрополии. Открыта удалённая позиция Machine Learning Engineer I в Assurance Lab. Кандидаты должны находиться в США.

Обязанности

• Проектирование, разработка и развёртывание приложений на больших языковых моделях (LLM), включая RAG-системы, агентные платформы и клинические чат-боты.
• Проектирование, поддержка и оптимизация инфраструктуры данных и пайплайнов валидации моделей для проверки соответствия, производительности и безопасности пациентов.
• Совместная работа с продуктовыми командами ИИ, клиническими и техническими стейкхолдерами, DevOps-инженерами и комитетом по управлению ИИ для создания масштабируемых потоков данных.
• Разработка и поддержка ETL-пайплайнов для структурированных и неструктурированных клинических данных из EHR, изображений и текстовых источников.
• Проектирование систем автоматизации подготовки данных, отслеживания и воспроизводимости входов и выходов моделей.
• Разработка инфраструктуры данных для бенчмаркинга и стресс-тестирования моделей в клинических симуляционных средах.
• Совместная работа с DevOps и облачными командами для обеспечения соответствия пайплайнов развёртывания стандартам.
• Настройка и мониторинг инфраструктуры отслеживания моделей для метрик оценки и обнаружения аномалий.
• Участие в разработке стандартов и процедур управления данными, их проектирования и обслуживания.
• Документирование стандартов и процедур.
• Разработка и поддержка пайплайнов для предварительной валидации моделей и пост-развёртывающего мониторинга.
• Совместная работа с дата-сайентистами и клиническими владельцами продуктов для проверки целостности, воспроизводимости и справедливости данных в ИИ-процессах.
• Обеспечение соответствия HIPAA, этическим нормам и политикам институционального управления при работе с чувствительными медицинскими данными.
• Создание дашбордов и инструментов наблюдаемости на всём жизненном цикле ML: данные, модели, результаты.
• Разработка, создание и развёртывание LLM-приложений, включая клинические чат-боты, копилоты и инструменты поддержки решений для пользователей MSHS.
• Разработка RAG-пайплайнов, интегрирующих базы данных с клиническими источниками знаний, данными EHR и институциональными документами.
• Создание агентных платформ и мультиагентных процессов с использованием фреймворков, включая LangGraph или аналоги.
• Внедрение LLM-развёртывания: оптимизация инференса, настройка задержки и стоимости, сервировка моделей, интеграция защитных ограничений (guardrails).
• Внедрение промпт-инжиниринга, версионирования промптов и структурированных процессов оценки промптов у разных провайдеров и версий моделей.
• Дообучение и адаптация фундаментальных моделей под клинические и операционные задачи.
• Создание оценочных сред для LLM: точность, галлюцинации, безопасность, предвзятость, сикофантия, клиническая уместность, red-teaming и стресс-тестирование.
• Эффективная коммуникация технических результатов по целостности моделей и данных с командами управления, клиническими стейкхолдерами и руководством.
• Ведение чёткой документации процессов данных, архитектуры платформы и процессов валидации.
• Подготовка внутренних отчётов об устойчивости инфраструктуры данных, статусе систем валидации и операционных рисках.
• Отслеживание лучших практик в инженерии данных и ML для здравоохранения.
• Гибкость и готовность работать с разными технологиями и языками.
• Постоянное обновление навыков и знаний о трендах в области больших данных.
• Тесная работа с кросс-функциональными командами: дата-сайентисты, медицинские работники, IT-специалисты.

Требования

• Степень бакалавра в области компьютерных наук, статистики, математики или смежной области.
• Знание хотя бы одного языка программирования: Scala, Python, Java, C или C++.
• Знание технологий больших данных (например, Hadoop, Spark).
• Знание жизненного цикла разработки ПО.
• Самостоятельность, способность работать независимо и принимать самостоятельные решения при разработке сложных техник или программ в динамичной среде.
• Участие в качестве основного контрибьютора в разработке и вводе в эксплуатацию четырёх различных приложений.