Senior Staff ML Systems Engineer

Компания Hims & Hers — платформа в сфере здоровья и велнеса, работающая над персонализированным медицинским обслуживанием. Публичная компания, торгуется на NYSE под тикером HIMS.

О роли

Ищем Senior Staff инженера, который возьмёт на себя сквозную ответственность за надёжность и безопасность AI/ML в регулируемой среде здравоохранения: пайплайны данных для моделей и оценок, а также инфраструктуру оценки — судьи, скореры, статистические регрессионные гейты, red-team тестирование — определяющую, эффективны ли AI-модели и безопасны ли они для пациентов.

Это руководящая роль для специалиста, комфортно работающего на стыке дисциплин. Вы будете задавать техническое направление для построения, версионирования и доверия к данным и суждениям, на основе которых оцениваются AI-продукты. Область охватывает всё: от первичного приёма данных и пайплайнов признаков/датасетов до методологии оценки и статистической строгости, вплоть до отчётных интерфейсов, позволяющих клиническим и продуктовым командам действовать на основе полученных выводов.

Задачи

• Владеть системой оценки целиком: задавать техническое направление для систем оценки, дизайна метрик, судей и скореров, статистической методологии регрессионных решений и инфраструктуры отслеживания и категоризации сбоев.
• Проектировать и масштабировать пайплайны данных — приём, трансформация, версионирование датасетов, разметка и калибровка — от которых зависят как оценка, так и последующая работа data science.
• Проактивно решать задачи масштабирования и сложности AI-оценки.
• Вести проекты, охватывающие несколько команд и кварталов.
• Определять, как оценивать любой новый AI-сервис с нуля.
• Запускать многофункциональные инициативы, например замену ручных, непоследовательных процессов ревью на статистически обоснованные автоматизированные гейты.
• Отвечать за подход к состязательной и red-team оценке как программе снижения рисков: проектировать тестовые наборы и таксономии сбоев, выявляющие проблемы безопасности и граничных случаев до того, как они достигнут пациентов.
• Разрешать сложные межкомандные технические разногласия и обеспечивать согласованность между инженерными, продуктовыми и AI-лидерами.
• Создавать новые подходы и методологии, становящиеся переиспользуемым стандартом, а не разовым решением.
• Брать размытые межкомандные проблемы («мы делаем это вручную и непоследовательно») и доводить их от идеи до полностью специфицированной, выпущенной системы без передачи части пути.
• Вести крупные улучшения платформы: реархитектурировать ключевые системы, убирать хрупкую логику, модернизировать работу с эффектом на всю организацию.
• Выстраивать рабочие отношения в ML-инженерии, data science, платформенной инженерии, клинических, юридических и продуктовых командах.
• Стать авторитетным голосом по методологии оценки и дизайну пайплайнов данных: делиться знаниями на внутренних выступлениях, писать материалы для других команд.
• Менторить других инженеров, включая опытных, и повышать техническую и статистическую планку команд.

Требования

• 10+ лет опыта в ML-инфраструктуре, data engineering или системах оценки/тестирования с подтверждённым влиянием за пределами одной команды или проекта.
• Практическая глубина в системах оценки: дизайн и калибровка LLM-судей/скореров, построение статистически обоснованной методологии регрессионного тестирования (например, парные тесты значимости с корректировкой на множественные сравнения), измерение согласованности с человеческими метками, дизайн состязательных/red-team подходов к оценке.
• Практическая глубина в инженерии пайплайнов данных.