Welo Global Опубликована 13 дней назад · отклик: jobicy.com
Senior промт-инженер по LLM
ЗарплатаПо договорённости
ФорматНе указан
ЛокацияНидерланды
ГрейдSenior
ЗанятостьЧастичная занятость
Project Lion — Senior Prompt Engineer (удалённо, частичная занятость, Нидерланды).
Задачи:
- Использовать инструменты автоматической генерации промтов (APG) для создания базовых промтов для сложных кластеров шаблонов «родитель-потомок».
- Запускать и контролировать работу инструмента автоматической оптимизации промтов (APO), проверять результаты и сигнализировать о тупиках или плато.
- Вручную составлять, тестировать и дорабатывать промты для сложных архитектур шаблонов, обхода антипаттернов и обработки граничных случаев, где инструменты отсутствуют или работают некорректно.
- Отслеживать запуски shadowbot, чтобы гарантировать регистрацию, генерацию и учёт достаточного количества расхождений между оценками человека и LLM.
- Прогонять версии промтов на эталонных данных для постоянного измерения качества авторэйтера относительно базовой линии человеческой оценки, рассчитывая метрики точности, такие как F1, precision и recall.
- Готовить обоснования технической готовности к запуску (Launch Certification Documentation).
Требования:
- Свободное владение нидерландским языком (родной уровень) и свободный английский.
- Проживание в Нидерландах.
- Степень бакалавра, магистра или доктора в области компьютерных наук, Data Science, вычислительной лингвистики, Human-Computer Interaction (HCI), когнитивных наук или смежной аналитической области.
- Не менее 4 лет опыта работы промт-инженером.
- Подтверждённый опыт настройки больших языковых моделей (LLM) для строго структурированных выходных данных, сложных задач классификации, знание chain-of-thought и few-shot learning.
- Сильные навыки анализа данных: выявление паттернов ошибок, анализ производительности моделей, использование SQL или других инструментов аналитики данных.
- Способность быстро осваивать проприетарные инструменты при минимальном надзоре.
- Отличные навыки устной и письменной коммуникации.
Дополнительно приветствуется:
- Знакомство с корпоративными интерфейсами LLM, такими как Goose API.
- Опыт оценки AI-моделей, Data Science, вычислительной лингвистики или разработки ПО.
- Практический опыт с системами автоматической оптимизации промтов (APO) или рабочими процессами настройки.
- Лингвистическая экспертиза, включая понимание семантики и логики.
Навыки и технологии
Направления