LILT Опубликована 6 дней назад · отклик: arbeitnow.ch
AI Benchmark Engineer — немецкий язык, Python
ЗарплатаПо договорённости
ФорматУдалённо
ЛокацияШвейцария
ЗанятостьНа проект
LILT ищет AI Benchmark Engineer для создания и проверки набора задач Terminal-Bench, оценивающих большие языковые модели в многоязычных программных сценариях. Удалённая фриланс-работа.
Задачи:
- Проектирование задач: оценка кодирующих агентов.
- Создание реалистичных сред с данными и файлами на немецком языке, которые должны оставаться на целевом языке для проверки многоязычной обработки.
- Поиск точек отказа ИИ при работе с промптами на немецком языке.
- Разработка эталонных решений и надёжных детерминированных скриптов проверки (рубричная оценка только при необходимости).
- Анализ логов выполнения и калибровка сложности задач (от Easy до Very Hard) с использованием стандартных конфигураций Terminal-Bench на разных уровнях моделей (Haiku, Sonnet, Opus).
- Участие в четырёхуровневом контроле качества (создание, человеческая проверка, калибровочная проверка, аудит) вместе с автоматическими проверками на основе LLM.
Требования:
- Опыт: от 1 года в разработке ПО или промпт-инжиниринге.
- Подтверждённый опыт в ведущих технологических компаниях и/или окончание топовых инженерных вузов.
- Немецкий язык: родной или почти родной, глубокое понимание грамматики, регистра и правил фразеологии. Высокий уровень английского.
- Технический стек: уверенное владение Python, стандартным shell-скриптингом и обработкой данных.
- Опыт работы в терминале/CLI и знакомство с кодирующими агентами.
- Понимание проблем многоязычной обработки текста: устойчивость кодирования/декодирования и нормализация Unicode; локальные соглашения (сортировка, регистр, негрегорианские даты); текстовый ввод-вывод, совместимость инструментов и безопасные строковые операции.
- Для отдельных языков: обработка двунаправленного/RTL текста, резервные шрифты, рендеринг/типографика в UI или артефактах.
Условия:
- Удалённая фриланс-работа по договору 1099.
- Гибкий график: работа по желанию, без фиксированных часов и микроменеджмента.
- Конкурентные ставки, быстрая оплата.
- Проект не подходит как основная работа или основной источник дохода: загрузка зависит от спроса, часы не гарантированы, льготы (медицинская страховка, оплачиваемый отпуск, пенсионные взносы) не предоставляются.
- Требуется надёжная доступность и обязательность: большинство задач требуют минимум 2 часов в день или 15–20 часов в неделю.
- Могут действовать географические ограничения: сотрудничество невозможно в регионах под международными эмбарго или санкциями. Налоги — ответственность исполнителя.
Инструменты в вакансии
Навыки и технологии
Направления