ICF Опубликована 5 дней назад · отклик: LinkedIn
Applied AI-инженер, LLM-пайплайны
ЗарплатаПо договорённости
ФорматУдалённо
ЛокацияСША
ICF ищет Applied AI Engineer в подразделение Global Health and Development (GHD), входящее в группу Health, People, and Human Services (HPHS). Предстоит создавать системы на базе frontier-моделей для программ в области глобального здравоохранения и опросов.
Задачи
- Проектировать и создавать LLM-пайплайны и агентов для рабочих процессов опросов, включая:
- пайплайн автоматизированного преобразования данных в отчёт с помощью ИИ;
- анализ данных опросов на естественном языке;
- многоязычный перевод анкет;
- инструменты поддержки интервьюеров и супервайзеров в поле.
- Создавать оценочные стенды (evaluation harnesses) как первостепенные результаты работы. Совместно с техническим лидом и экспертами по опросам определять критерии приёмки до оценки работы. Формировать тестовые наборы на основе эталонных данных, подготовленных экспертами, и проводить сравнения на неинфериорность, определяющие дальнейшее продвижение инструмента.
- Распределять работу между моделями с учётом сложности рассуждений, объёма, стоимости, задержки и требований к размещению данных.
- Управлять стоимостью инференса: отслеживать использование токенов, лимиты контекста, кэширование промптов и пакетную обработку, учитывать эти операционные расходы при выборе модели.
- Подключать модели к сервисам данных и приложениям, созданным full-stack разработчиками.
- Использовать инструменты агентного кодирования для создания ПО по чётким спецификациям, затем проверять, тестировать и нести ответственность за полученный код.
- Мониторить продакшен-системы, проводить дисциплинированный анализ ошибок и сообщать о положительных и отрицательных результатах.
- Документировать методы и результаты для публичного релиза, включая отрицательные результаты. Помогать передавать инструменты институтам стран-партнёров, чтобы они могли запускать их самостоятельно.
Требования
- Степень бакалавра в области компьютерных наук, инженерии или смежной области (или эквивалентный опыт).
- Минимум 4 года профессионального опыта разработки ПО, включая создание LLM-систем, которыми реальные пользователи пользовались в продакшене.
- Гражданство США требуется по условиям федерального государственного контракта.
- Владение Python или другим современным языком программирования (например, JavaScript/TypeScript, Go) для бэкенд- и AI-разработки.
- Практический опыт работы с API frontier-моделей (любого провайдера или через любую облачную платформу), включая tool use и retrieval-augmented generation.
- Подтверждённый опыт проектирования оценок LLM: построение тестовых наборов, автоматическая и человеческая оценка, регрессионное тестирование и решения о выпуске.
- Рабочее знание компромиссов между стоимостью, задержкой и выбором модели LLM.
- Опыт создания и развёртывания на крупной облачной платформе (например, AWS, Azure или Google Cloud).
- Подтверждённый опыт использования инструментов агентного кодирования, таких как Claude Code, OpenAI Codex, Cursor, Antigravity или GitHub Copilot agent mode, для спецификации, проверки, тестирования и ответственности за продакшен-код.
- Опыт работы с агентными фреймворками и инструментами оценки ИИ.
Предпочтительные навыки
- Опыт задач, где эталонные данные получены от экспертов предметной области (например, статистиков, клиницистов, учёных или методологов).
- Опыт grounded generation по структурированным или табличным данным либо анализа статистики с помощью LLM.
- Опыт многоязычной обработки естественного языка или NLP для малоресурсных языков, перевода или речи.
- Опыт развёртывания моделей с открытыми весами.
- Опыт работы с чувствительными или регулируемыми данными, например медицинскими или данными исследований с участием людей.
- Знакомство с управлением моделями, мониторингом и практиками ответственного ИИ.
- Опыт в глобальном здравоохранении, международном развитии или странах с низким и средним уровнем дохода.
- Публичная работа: вклад в open-source, опубликованные оценки или технические статьи о созданных системах.
Условия
- Удалённая работа в пределах США.
- Возможны командировки.
- Позиция зависит от выделения финансирования программы.
Инструменты в вакансии
Навыки и технологии
Направления