Компания
Welo Data
О роли
Senior Prompt Engineer для технической миграции шаблонных процессов в высокопроизводительные LLM-авторайтеры. Роль предполагает работу с продвинутыми инструментами APG/APO и ручную доводку промптов, чтобы автоматизированные системы достигали и превосходили базовые показатели точности и нюансов человеческой краудсорсинговой оценки.
Задачи
- Полная ответственность за сквозную техническую миграцию шаблонов в LLM-авторайтеры.
- Использование Automatic Prompt Generation (APG) и контроль инструментов Automated Prompt Optimization (APO) для преодоления плато и тупиков в производительности моделей.
- Постоянное измерение качества относительно базовых линий «gold data» с отслеживанием precision, recall и F1 для обоснования готовности к запуску.
- Ручная разработка и доработка сложных промптов для устранения анти-паттернов и архитектурных пробелов, которые не решают автоматические инструменты.
Условия
- График: частичная занятость, самостоятельное планирование времени в рамках этапов проекта.
- Локация: полностью удалённо, обязательно нахождение в США.
- Тип занятости: фриланс / независимый подрядчик.
Требования
- Степень бакалавра, магистра или PhD в области компьютерных наук, науки о данных, компьютерной лингвистики или смежной аналитической области.
- От 4 лет опыта настройки LLM для строгих структурированных выводов, сложной классификации и few-shot обучения.
- Высокий уровень навыков выявления паттернов ошибок и использования SQL или инструментов аналитики данных для мониторинга производительности.
- Быстрая обучаемость, способность самостоятельно осваивать проприетарные внутренние инструменты и интерфейсы вроде «Goose API».
Желательные навыки
- Знакомство с мониторингом shadowbot и отслеживанием разногласий.
- Опыт в оценке AI-моделей и разработке ПО.
- Глубокое понимание семантики, логики и Chain-of-Thought (CoT) промптинга.
- Умение составлять документацию высокого уровня для сертификации запуска.