micro1 Опубликована 11 дней назад · отклик: jobleads.com
ИИ-исследователь по оценке кодирующих агентов
ЗарплатаПо договорённости
ФорматУдалённо
ЛокацияНе указана
ЗанятостьПолная занятость
О роли
Компания micro1 ищет ИИ-исследователя (удалённо) — участника технической команды для развития оценки и разработки передовых кодирующих агентов. Роль находится на пересечении ИИ-исследований, разработки ПО и оценки моделей: нужно проектировать бенчмарки, методологии и системы данных, которые определяют, как измеряются и улучшаются кодирующие модели следующего поколения.
Задачи
- Проектировать и отвечать за фреймворки оценки кодирующих агентов: спецификации бенчмарков, методологии оценки, рубрики и стандарты качества.
- Вести исследовательские инициативы end-to-end по измерению и улучшению качества кодирующих моделей на разных задачах разработки ПО.
- Создавать качественные датасеты, эталонные примеры и протоколы оценки для надёжной проверки передовых кодирующих систем.
- Анализировать поведение моделей и режимы ошибок, выявлять систематические слабые места и переводить находки в улучшения для обучения и оценки.
- Создавать инструменты и инфраструктуру для крупномасштабных экспериментов, генерации данных, процессов проверки и пайплайнов оценки.
- Формировать лучшие практики оценки кодирующих агентов: методологическую строгость, воспроизводимость и качество измерений.
- Работать с исследователями, инженерами и командами прикладного ИИ над экспериментами и оценкой новых возможностей моделей.
- Участвовать в технических отчётах, исследованиях бенчмарков и клиентских исследовательских инициативах.
Требования
- Сильный опыт разработки ПО и владение Python, C++ или сопоставимыми языками.
- Опыт от 3 лет в разработке ПО, машинном обучении, ИИ-исследованиях, оценке или смежных технических областях.
- Опыт проектирования, проверки или валидации технических оценок, бенчмарков, задач по программированию или методологий оценки.
- Знакомство с большими языковыми моделями, кодирующими агентами, обучением с подкреплением, оценкой моделей или связанными ИИ-системами.
- Умение создавать инструменты, автоматизировать процессы и улучшать технические процессы через систематические эксперименты.
- Сильные аналитические навыки: исследование поведения моделей и выводы из сложных технических систем.
- Отличные письменные и устные коммуникационные навыки, умение понятно объяснять технические выводы разной аудитории.
- Комфорт в быстро меняющейся исследовательской среде с неопределённостью и меняющимися приоритетами.
Пожелания
- Опыт работы с передовыми ИИ-системами, кодирующими агентами или исследованиями оценки моделей.
- Глубокий интерес к тому, как данные, оценки и механизмы обратной связи влияют на возможности моделей.
- Опыт самостоятельного ведения неоднозначных технических или исследовательских проектов от идеи до исполнения.
- Опыт проектирования бенчмарков или датасетов для ML-систем в масштабе.
- Знакомство с агентными рабочими процессами, использованием инструментов, обучением с подкреплением или методами посттренировки.
- Публикации, вклад в open-source или продемонстрированное техническое лидерство в ИИ, машинном обучении или разработке ПО.
Условия
- Полная занятость, удалённый формат.
- Базовая зарплата: $200 000–$260 000 USD.
- Все сотрудники имеют право на компенсацию акциями; возможны бонусы по результатам работы в зависимости от роли и политик компании.
- Льготы: возмещение до 100% стоимости медицинской страховки, оплачиваемый отпуск, план 401(K) с вкладом компании и дополнительные льготы для высокоэффективной команды, работающей преимущественно удалённо.
Инструменты в вакансии
Навыки и технологии
Направления