Middle/Senior AI-инженер по оценке LLM и мультимодальных систем

Rex.zone нанимает Middle/Senior удалённого AI-инженера для повышения качества и надёжности LLM и мультимодальных систем. Специалист будет строить оценочные стенды, интегрировать RLHF-процессы и работать с data-операциями для повышения качества обучающих данных в задачах NLP и компьютерного зрения.

Обязанности

• Строить и поддерживать пайплайны оценки LLM (рубричное оценивание, парные тесты предпочтений).
• Интегрировать RLHF-сигналы и циклы обратной связи для более безопасных и качественных результатов.
• Определять и итерировать правила аннотации, проверки соответствия и контроль качества.
• Разрабатывать наборы для оценки промптов и регрессионные тесты для обнаружения падений качества в релизах.
• Поддерживать NLP-процессы (например, распознавание именованных сущностей) и CV-процессы (например, аннотация компьютерного зрения).
• Внедрять стратегии разметки безопасности контента и отчёты, удобные для аудита.
• Создавать дашборды и мониторинг качества обучающих данных, метрик оценки и здоровья продакшена.
• Улучшать инструменты и автоматизацию для QA-оценки, разметки и ревью-операций.

Требования

• Опыт Middle/Senior в запуске AI/ML-систем в продакшене.
• Уверенный Python и умение создавать надёжные пайплайны данных и оценки.
• Практический опыт с оценкой моделей, оценкой промптов и дизайном экспериментов.
• Понимание концепций RLHF и процессов моделирования предпочтений.
• Умение превращать неоднозначные проблемы качества в измеримые метрики и инженерные задачи.
• Комфортная работа с продуктом, data-операциями и QA.

Условия

• Полностью удалённая роль, соответствующая требованиям найма и расчёта зарплаты в США.