Welo Global Опубликована 13 дней назад · отклик: jobicy.com
Senior промт-инженер по LLM-авторейтерам
ЗарплатаПо договорённости
ФорматНе указан
ЛокацияИталия
ГрейдSenior
ЗанятостьЧастичная занятость
Ищем промт-инженера для сквозного технического переноса шаблонов на LLM-авторейтеры. В работе нужно использовать внутренние инструменты клиента и методы промт-инжиниринга для максимизации качества моделей.
Задачи:
- Использовать инструменты Automatic Prompt Generation (APG) для создания базовых промтов для сложных кластеров шаблонов parent-child.
- Запускать и контролировать инструмент Automated Prompt Optimization (APO), проверять результаты и отмечать ситуации, когда APO заходит в тупик или выходит на плато.
- Вручную составлять, тестировать и дорабатывать промты для сложных архитектур шаблонов, обхода антипаттернов и обработки крайних случаев, где инструментов не хватает или они не работают. Решать нестандартные сценарии через проектирование и доработку ручных промтов.
- Отслеживать запуски shadowbot, чтобы фиксировалось, генерировалось и отслеживалось достаточное количество расхождений между оценками человека и LLM.
- Прогонять версии промтов на эталонных данных для постоянного измерения качества авторейтера относительно базовой линии человеческой разметки, рассчитывая метрики точности, такие как F1, precision и recall.
- Готовить технические обоснования готовности к запуску (Launch Certification Documentation) для финального этапа.
Требования:
- Свободное владение итальянским на уровне носителя и свободный английский.
- Проживание в Италии.
- Степень бакалавра, магистра или доктора в области компьютерных наук, Data Science, вычислительной лингвистики, Human-Computer Interaction (HCI), когнитивных наук или смежной аналитической области.
- Не менее 4 лет опыта работы промт-инженером. Подтверждённый опыт настройки больших языковых моделей (LLM) для строгих структурированных выходов, сложных задач классификации, знание chain-of-thought и few-shot learning.
- Сильные навыки анализа данных: выявление паттернов ошибок, анализ качества модели, использование SQL или других инструментов аналитики.
- Техническая гибкость: способность быстро осваивать проприетарные инструменты при минимальном контроле.
- Отличные навыки устной и письменной коммуникации.
Дополнительно приветствуется:
- Знакомство с корпоративными интерфейсами LLM, такими как Goose API.
- Опыт оценки AI-моделей, Data Science, вычислительной лингвистики или разработки ПО.
- Практический опыт с системами Automated Prompt Optimization (APO) или рабочими процессами настройки.
- Лингвистическая экспертиза, включая понимание семантики и логики.
Навыки и технологии
Направления