Welo Global Опубликована 13 дней назад · отклик: jobicy.com
Senior промпт-инженер (LLM)
ЗарплатаПо договорённости
ФорматНе указан
ЛокацияПортугалия
ГрейдSenior
ЗанятостьЧастичная занятость
Project Lion — проект по миграции шаблонов на LLM-авторейтеры. Требуется промпт-инженер для выполнения сквозного технического рабочего процесса миграции с использованием внутренних инструментов клиента и методов промпт-инжиниринга для максимизации производительности модели.
Задачи:
- Использовать инструменты автоматической генерации промптов (APG) для создания базовых промптов для сложных кластеров родительских и дочерних шаблонов.
- Запускать и контролировать работу инструмента автоматической оптимизации промптов (APO), проверять результаты и отмечать случаи, когда APO достигает тупика или плато.
- Вручную составлять, тестировать и дорабатывать промпты для сложных архитектур шаблонов, обхода антипаттернов и обработки крайних случаев, где инструменты отсутствуют или не работают. Решать нестандартные сценарии путём разработки и уточнения ручных промптов.
- Отслеживать запуски shadowbot, чтобы гарантировать регистрацию, генерацию и отслеживание достаточного количества расхождений (между оценками человека и LLM).
- Запускать версии промптов на установленных эталонных данных для постоянного измерения качества авторейтера относительно базовой линии человеческой оценки, рассчитывая метрики точности, такие как F1, precision и recall.
- Составлять технические обоснования готовности к запуску (Launch Certification Documentation) для финального запуска.
Требования:
- Языки: свободное владение португальским на уровне носителя и свободный английский.
- Местоположение: необходимо находиться в Португалии.
- Образование: степень бакалавра, магистра или доктора в области компьютерных наук, Data Science, вычислительной лингвистики, взаимодействия человека и компьютера (HCI), когнитивных наук или смежной аналитической области.
- Промпт-инжиниринг и ИИ: не менее 4 лет опыта работы промпт-инженером. Подтверждённый опыт настройки больших языковых моделей (LLM) для строгих структурированных выходных данных, сложных задач классификации, знакомство с chain-of-thought и few-shot обучением.
- Анализ данных: уверенное выявление паттернов ошибок, анализ производительности модели и использование SQL или других инструментов аналитики данных.
- Техническая гибкость: способность быстро осваивать проприетарные инструменты с минимальным контролем.
- Коммуникация: отличные навыки устного и письменного общения.
Дополнительные (предпочтительные) навыки:
- Знакомство с корпоративными интерфейсами LLM, такими как Goose API.
- Опыт оценки ИИ-моделей, Data Science, вычислительной лингвистики или разработки программного обеспечения.
- Практический опыт работы с системами автоматической оптимизации промптов (APO) или рабочими процессами настройки.
- Лингвистическая экспертиза, включая понимание семантики и логики.
Навыки и технологии
Направления