Staff Research Engineer — мультимодальные генеративные модели

Synthesia — платформа AI-видео для бизнеса, основана в 2017 году, штаб-квартира в Лондоне, офисы и команды в Европе и США. Продукты компании направлены на улучшение визуальной коммуникации и развития корпоративных навыков.

О роли

Долгосрочная цель Synthesia — создавать лучшие человеко-интерактивные модели: системы, которые не просто разговаривают с людьми, а воспринимают и реагируют на них, отвечая на действия и эмоции пользователя, а не только на слова. Более 60 000 компаний используют платформу. Следующий шаг — модели, объединяющие текст, аудио и видео в единый интерактивный опыт в реальном времени.

Как Staff Research Engineer вы присоединитесь к команде Voice в составе R&D-отдела из более чем 40 человек, но ваша зона ответственности выйдет за пределы голоса. Вы будете помогать определять и продвигать эту более широкую концепцию между командами, предлагать амбициозные исследовательские направления и напрямую отвечать за проектирование и реализацию её ключевых компонентов. Вы будете работать напрямую с руководителем направления голоса и тесно сотрудничать с видео-командами и другими старшими членами организации.

Конкретно вы будете работать над моделями voice-to-voice, которые одновременно генерируют текст и голос; моделями, способными рассуждать, перебивать пользователя с back channeling и говорить; моделями, создающими ощущение естественного разговора без эффекта поочерёдных реплик, доминирующего в текущих speech-to-speech моделях. Ваша роль — участвовать в определении дорожной карты, реализовывать её и доводить результаты до продукта.

Задачи

• Формировать дорожную карту для создания новых возможностей моделей и открытия новых функций для клиентской базы на коротких и длинных горизонтах.
• Предлагать новые мультимодальные архитектуры систем (особенно текст и голос).
• Разрабатывать и оценивать потоковые и разговорные системы для низколатентного интерактивного синтеза голоса и видео.
• Проектировать решения, усиливающие эмоциональную выразительность и естественное взаимодействие.
• Реализовывать и воплощать проекты в жизнь — от предобучения до постобучения.
• Интегрировать и тестировать новые архитектуры (нейронные кодеки, диффузия, flow-matching) для повышения реалистичности и отзывчивости.
• Определять новые метрики оценки разговорных систем, включая измерения с учётом задержки и на основе взаимодействия.
• Отслеживать последние исследования в области аудиовизуальной диффузии, авторегрессионных моделей, нейронных кодеков и мультимодальных LLM.
• Формировать новые датасеты в дополнение к существующим данным.
• Руководить инициативами постобучения, такими как DPO, дообучение и дистилляция, для доведения моделей до качества, пригодного к выпуску.
• Выпускать модели в продакшн с оптимизированным рантаймом для обслуживания клиентов и впоследствии учитывать их обратную связь.

Требования

• Способность предлагать новые идеи и решения, продвигающие область интерактивных мультимодальных систем.
• Сильное понимание генеративного моделирования, желательно в применении к последовательным или мультимодальным данным.
• Практический опыт работы с большими языковыми моделями или аналогичными архитектурами на основе трансформеров.
• Высокий уровень владения PyTorch, включая распределённое обучение и оптимизацию моделей.
• Твёрдое понимание моделирования временных рядов и токенизации, предпочтительно в контексте аудио, речи или видео.
• Подтверждённая способность быстро прототипировать, проверять гипотезы и эффективно итерировать.
• Подтверждённый опыт обучения моделей глубокого обучения end-to-end, от подготовки данных до оценки.
• Сильные общие навыки разработки ПО, позволяющие вносить вклад в крупную общую исследовательскую инфраструктуру.

Особенно релевантный опыт

• Выпуск генеративной модели в живой продукт, используемый в значимом масштабе, а не только публикация или прототип.
• Работа над разговорными или интерактивными системами, где задержка, отзывчивость и пользовательский опыт были первостепенными ограничениями, а не второстепенными.
• Работа с LLM в рамках крупномасштабного обучения, приводящего к моделям с достойными способностями к рассуждению.
• Владение исследовательской задачей от начала до конца: от предложения архитектуры через предобучение, постобучение и продакшн-развёртывание.
• Сотрудничество между модальностями или командами (например, аудио и видео, или исследования и продукт) для выпуска единой системы.

Дополнительные плюсы

• Опыт работы с архитектурами реального времени или потоковыми архитектурами.
• Знакомство с передовыми архитектурами генерации аудио и речи, такими как диффузионные модели, нейронные кодеки, flow-matching модели или авторегрессионные подходы.