AI-инженер по оценке coding-агентов

Контрактная роль Staff Software Engineer (AI Evals), 20–40 часов в неделю.

Задачи

• Оценивать качество взаимодействий с современными агентами для кодинга, такими как OpenAI Codex и Claude Code.
• Проверять, имеет ли смысл ответ, полезны ли вступление и рассуждения, отражает ли вывод сильное инженерное суждение и ощущается ли взаимодействие правильным для опытного разработчика.
• Оценивать AI-сгенерированные взаимодействия с кодом от начала до конца.
• Судить, полезны ли выводы, корректны ли они на высоком уровне и соответствуют ли тому, как думал бы сильный инженер.
• Оценивать качество объяснений и рассуждений, а не только кода.
• Различать уровни качества ответов (например, что делает ответ уровнем 2 против 4).
• Давать чёткую, аргументированную обратную связь о том, что сработало, что нет и что показалось «неправильным» или вводящим в заблуждение.
• Помогать определять, что значит отличное взаимодействие с инструментами вроде Cursor.

Требования

• Уровень Staff / Principal или эквивалентный опыт.
• Сильный опыт в одном из: Go, Python, Rust, TypeScript / JavaScript.
• Практический опыт использования OpenAI Codex, Claude Code, Cursor.
• Глубокое знакомство с современными рабочими процессами разработки с помощью AI.
• Способность оценивать код без необходимости полностью выполнять или глубоко проверять каждую строку.
• Готовность давать прямую, аргументированную обратную связь.
• Высокая планка того, что такое «хорошая инженерия».

Будет плюсом

• Опыт работы с Cursor или аналогичными AI-first IDE.
• Опыт проектирования промптов или процессов оценки.
• Опыт менторства senior-инженеров или определения инженерных стандартов.

Условия

• Занятость: около 20 часов в неделю и более.
• Длительность: краткосрочно, от 2 недель до 6 месяцев.
• Старт: как только начнётся проект.
• Процесс: тестовое оценочное задание, проверка биографии, оффер.