Middle/Senior AI-инженер LLM и RLHF

Уровень Middle–Senior. Полностью удалённая роль, соответствующая требованиям найма и расчёта заработной платы в США.

Задачи

• Создавать и поддерживать пайплайны оценки LLM: рубричную оценку и preference-тесты.
• Интегрировать сигналы RLHF и циклы обратной связи для более безопасных и качественных результатов.
• Определять и итеративно обновлять правила аннотирования, проверки соответствия и quality gates.
• Разрабатывать наборы для оценки промптов и регрессионного тестирования, чтобы выявлять падение качества между релизами.
• Поддерживать процессы NLP (например, распознавание именованных сущностей) и CV (например, аннотирование в компьютерном зрении).
• Внедрять стратегии разметки для безопасности контента и отчётность, удобную для аудита.
• Создавать дашборды и мониторинг качества обучающих данных, метрик оценки и состояния продакшена.
• Улучшать инструменты и автоматизацию для QA-оценки, процессов разметки и операций ревью.

Требования

• Опыт уровня Middle–Senior в запуске AI/ML-систем в продакшене.
• Уверенное владение Python и умение строить надёжные пайплайны данных и оценки.
• Практический опыт оценки моделей, оценки промптов и дизайна экспериментов.
• Понимание концепций RLHF и процессов моделирования предпочтений.
• Умение превращать неоднозначные проблемы качества в измеримые метрики и инженерные задачи.
• Комфортная работа в кросс-функциональном сотрудничестве с продуктом, data operations и QA.

Условия

• Полностью удалённая роль, соответствующая требованиям найма и расчёта заработной платы в США.