Промт-инженер по миграции шаблонов на LLM-автооценщики
Project - Prompt Engineer - States (Remote, Part-Time)
Мы ищем промт-инженера, который будет отвечать за сквозной технический процесс миграции шаблонов на LLM-автооценщики. В роли потребуется использовать внутренние инструменты клиента и применять техники промтинга для максимизации качества работы моделей.
Задачи:
- Использовать инструменты автоматической генерации промтов (Automatic Prompt Generation, APG) для создания промтов для сложных кластеров шаблонов «родитель-потомок».
- Запускать и контролировать работу инструмента автоматической оптимизации промтов (Automated Prompt Optimization, APO), проверять результаты и отмечать случаи, когда APO заходит в тупик или выходит на плато.
- Вручную составлять, тестировать и дорабатывать промты для работы со сложными архитектурами шаблонов, обхода антипаттернов и пограничных случаев, где инструментарий отсутствует или не работает. Решать нестандартные сценарии путём разработки и доработки ручных промтов.
- Отслеживать запуски shadowbot, чтобы убедиться, что зафиксировано, сгенерировано и учтено достаточное количество расхождений (между оценками человека и LLM).
- Запускать версии промтов на установленных эталонных данных для постоянного измерения качества автооценщика по сравнению с оценками людей, рассчитывая метрики точности, такие как F1-мера и полнота (recall).
- Готовить обоснования технической готовности (Certification Documentation) для финального этапа.
Требования:
- Языковые навыки: свободное владение английским на уровне носителя.
- Локация: необходимо находиться в США.
- Образование: степень бакалавра, магистра или доктора в области компьютерных наук, Data Science, вычислительной лингвистики, взаимодействия человека и компьютера (HCI), когнитивных наук или смежной аналитической области.
- Промтинг и экспертиза: не менее 2 лет опыта работы промт-инженером. Подтверждённый опыт настройки больших языковых моделей (LLM) для строго структурированных выходных данных, сложных задач классификации, а также знакомство с chain-of-thought и few-shot learning.
- Анализ данных: уверенное владение навыками выявления паттернов ошибок, анализа качества моделей и использования SQL или других инструментов аналитики данных.
- Техническая гибкость: способность быстро осваивать проприетарные инструменты при минимальном надзоре.
- Коммуникация: отличные навыки устного и письменного общения.
Дополнительные (предпочтительные) навыки:
- Знакомство с корпоративными интерфейсами LLM, такими как Goose API.
- Опыт в оценке моделей, Data Science, вычислительной лингвистике или разработке программного обеспечения.
- Практический опыт работы с автоматической оптимизацией промтов (APO) или процессами настройки.
- Лингвистическая экспертиза, включая понимание семантики и логики.
Соответствие федеральному законодательству: В соответствии с федеральным законодательством все принятые сотрудники должны подтвердить личность и право на работу в США, а также заполнить обязательную форму подтверждения права на трудоустройство. Для получения разрешения на работу в соответствии с федеральным законодательством (процесс I-9) все новые сотрудники должны пройти видеопроверку личности с выбранными документами и предоставить фотографии этих документов в течение первых 3 дней работы.