Research Engineer, бенчмарки и оценка LLM

Ramp Labs — AI-исследовательская группа компании Ramp. Она занимается посттренировкой моделей для финансовой работы, создаёт среды и оценки, на которых модели обучаются, и внедряет их в продукты, которыми пользуются более 70 000 компаний.

В этой роли вы будете отвечать за бенчмаркинг в Ramp Labs: превращать реальную финансовую работу (проверка расходной политики, кодирование счетов, закрытие месяца, вопросы и ответы по таблицам) в бенчмарки и RL-среды, строить грейдеры и сообщать команде, что действительно улучшается.

Задачи:

• Строить бенчмарки из реальных рабочих процессов: превращать трассировки агентов, пограничные случаи клиентов и экспертные метки в версионированные наборы бенчмарков для долгоживущих агентов, работающих часами с инструментами и системами, а также для оценки использования инструментов, многошаговых рассуждений и финансовых суждений.
• Отвечать за бенчмаркинг: определять, что измерять, запускать наборы бенчмарков на разных моделях и версиях агентов и сообщать результаты, на основе которых команда принимает решения.
• Проектировать грейдеры: рубрики, программные проверки и llm-as-judge, калиброванные по согласию с людьми, с ясным пониманием, где каждый из них ломается.
• Замыкать цикл с посттренировкой: превращать оценки в функции вознаграждения и RL-среды, выявлять reward hacking и контаминацию до релиза.
• Публиковать внешние бенчмарки и отчёты о том, как модели справляются с реальной финансовой работой.

Требования:

• Практический опыт создания LLM-бенчмарков или оценок, которые использовались для принятия реальных решений.
• Сильный Python и программная инженерия; код оценок должен быть воспроизводимым и быстрым.
• Статистическое мышление: дисперсия, доверительные интервалы, размер выборки, межэкспертное согласие и понимание, когда разница — шум.
• Рабочее знание посттренировки (SFT, RL с проверяемыми вознаграждениями) и того, как оценки в неё встраиваются.
• Уверенное владение SQL и большими наборами данных; работа напрямую с производственными трассировками.
• Чутьё на то, что стоит измерять.

Будет плюсом:

• Опыт работы в индустрии в команде оценок, бенчмаркинга или посттренировки.
• Создание RL-сред или верификаторов для агентных задач.
• Публикации по бенчмаркам или оценкам (NeurIPS Datasets & Benchmarks, ICML, ACL).
• Опыт создания или участия в фреймворках оценок (verifiers, lm-evaluation-harness, HELM или аналогичные).
• Знакомство с бухгалтерией, финансами или другой экспертной предметной областью.
• Публичные работы: бенчмарк, набор оценок, разбор ошибок.

Условия: Для всех штатных сотрудников Ramp (глобально): гибкий PTO, централизованный заказ оборудования для домашнего офиса, стипендия на здоровье и благополучие, бюджет на поездки между офисами, еженедельная стипендия на кофе.

США: 100% покрытие медицинской, стоматологической и офтальмологической страховки для сотрудника, частичное покрытие для иждивенцев; годовой член One Medical; 401(k) с участием работодателя; HRA на фертильность (до $10 000 в год); отпуск по уходу за ребёнком до 16 недель (рождение + уход) или 8 недель (только уход) со 100% оплатой; страхование питомцев; офисные льготы (обед, снеки, напитки и другое); покрытие расходов на переезд в Нью-Йорк или Сан-Франциско при необходимости.

Канада: групповое медицинское, стоматологическое и офтальмологическое покрытие через Sun Life; страхование жизни, AD&D и инвалидности; покрытие лекарств для фертильности (до $4 000 за всё время); групповой пенсионный план с участием работодателя (RRSP + DPSP); отпуск по уходу за ребёнком до 16 недель (рождение + уход) или 8 недель (только уход) со 100% оплатой, с возможностью дополнительного времени с пониженной оплатой; программа помощи сотрудникам и виртуальная помощь через Lumino Health.

Великобритания: частная медицинская страховка через Freedom Elite; виртуальный терапевт и помощь на дому через eMed x Livi; пенсия через Penfold с опцией salary sacrifice; отпуск по уходу за ребёнком до 16 недель (рождение + уход) или 8 недель (только уход) со 100% оплатой, с возможностью дополнительного времени с пониженной оплатой.