Research Engineer, агентные системы и LLM
Ramp Labs — исследовательская и инженерная группа Ramp в области ИИ. Мы дообучаем модели на финансовых задачах, создаём среды и оценки, на которых они учатся, и внедряем их в продукты, которыми пользуются более 85 000 компаний.
Большинство агентных решений сегодня — это один агент, один трейс и человек, читающий результат. Мы строим системы, где такой подход перестаёт работать: тысячи агентов распределены по большому пространству поиска, каждый возвращает частичные результаты, а оркестратор превращает всё это во что-то полезное — сотни слитых PR, датасет, вход для другой системы или что-то, чего ещё не было.
Вам предстоит проектировать и запускать такие системы: как разбивается работа, как агенты координируются, как результаты дедуплицируются, верифицируются и ранжируются, и во сколько всё это обходится. Задачи общие (рои агентов, агентный map-reduce, длительные fan-out-процессы), и вы будете вести их от прототипа до продакшена.
Задачи:
- Решать, как выполняется работа: как разбить задачу, что видит каждый агент, сколько агентов запускать и какая модель отвечает за какой шаг.
- Выжимать точность из моделей: дизайн контекста, самопроверка, голосование и консенсус между агентами, понимание, когда больше агентов перестаёт помогать.
- Измерять качество без чтения каждого трейса: сэмплирование, автоматическая верификация, precision и recall на итоговом результате.
- Снижать стоимость и задержку на полезный результат: маршрутизация моделей, кэширование, ранняя остановка, меньшие или дообученные модели там, где они справляются.
- Превращать разовые эксперименты в переиспользуемые воркфлоу на существующем стеке оркестрации.
- Оценивать новые модели, варианты инференса и подходы к обучению и внедрять то, что работает.
Требования:
- Опыт построения прикладных ИИ-систем и LLM-приложений, которые были выпущены.
- Практический опыт с мультиагентными или высоко-параллельными LLM-нагрузками: параллельные агенты, map-reduce поверх моделей, крупный батчевый инференс.
- Сильный инжиниринг на Python; вы строите конкурентные распределённые системы, выдерживающие продакшен.
- Суждение о результате: вы решаете, как должен выглядеть итог, прежде чем масштабировать рой, и умеете отделять сигнал от шума агентов.
- Привычка измерять: стоимость, выход, долю ложноположительных срабатываний и помогло ли изменение на самом деле.
- Ответственность: способность вести роадмап и продакшен-систему с минимальным надзором.
- Чёткая письменная коммуникация.
Будет плюсом:
- Опыт построения оркестрации агентов или систем заданий (Ray, Temporal, Modal или собственные).
- Использование LLM для поиска по большим пространствам: кодовым базам, наборам документов, логам или другим крупным корпусам.
- Пост-обучение или хостинг open-source моделей для высоконагруженного инференса.
- Опыт в распределённых системах.
- Публичные работы: агентный фреймворк, open-source проект, статья или научная работа.
Условия:
- Гибкий неограниченный отпуск.
- Централизованный заказ оборудования для домашнего офиса.
- Стипендия на здоровье и благополучие.
- Бюджет на поездки между офисами.
- Еженедельная стипендия на кофе.
- США: полное покрытие медицинской, стоматологической и офтальмологической страховки для сотрудника, частичное — для иждивенцев; годовой член One Medical; 401(k) с участием работодателя; HRA на фертильность до $10 000 в год; отпуск по уходу за ребёнком до 16 недель (роды + уход) или 8 недель (только уход) со 100% оплатой; страхование питомцев; офисные бонусы (обед, снеки, напитки); покрытие расходов на релокацию в Нью-Йорк или Сан-Франциско при необходимости.
- Канада: групповое медицинское, стоматологическое и офтальмологическое покрытие через Sun Life; страхование жизни, AD&D и инвалидности; покрытие лекарств для фертильности до $4 000 за всё время; групповой пенсионный план с участием работодателя (RRSP + DPSP); отпуск по уходу за ребёнком до 16 недель (роды + уход) или 8 недель (только уход) со 100% оплатой, с возможностью дополнительного времени с пониженной оплатой; программа помощи сотрудникам и виртуальная помощь через Lumino Health.
- Великобритания: частная медицинская страховка через Freedom Elite; виртуальный терапевт и помощь на дому через eMed x Livi; рабочая пенсия через Penfold с опцией salary sacrifice; отпуск по уходу за ребёнком до 16 недель (роды + уход) или 8 недель (только уход) со 100% оплатой, с возможностью дополнительного времени с пониженной оплатой.