Инженер-исследователь ИИ: LLM и мультимодальные модели

Компания Tether.io, работающая в сфере цифровых финансов, приглашает AI Research Engineer в команду разработки моделей ИИ. Роль предполагает работу над архитектурой моделей разных масштабов, включая малые, большие и мультимодальные системы.

Задачи

• Проведение базового pre-training для LLM и мультимодальных моделей (текст, изображения, аудио и другие модальности) на крупных распределённых серверах с multi-node и тысячами NVIDIA GPU.
• Проектирование, прототипирование и масштабирование архитектур, токенизаторов и слоёв кросс-модального выравнивания.
• Поиск, фильтрация и курирование крупномасштабных текстовых и мультимодальных датасетов, создание пайплайнов данных для эффективного pre-training.
• Проведение экспериментов, анализ результатов и улучшение методик обучения для оптимальной производительности и эффективности токенов.
• Поиск и устранение узких мест в эффективности моделей, вычислительной производительности и стабильности кросс-модального выравнивания во время длительных обучений.
• Развитие распределённых систем обучения для масштабируемости и эффективности оборудования.

Требования

• Глубокая экспертиза в архитектурах LLM и мультимодальных моделей.
• Сильное понимание оптимизации pre-training.
• Практический, исследовательский подход к работе.
• Отличные коммуникативные навыки на английском языке.

Условия

• Полная удалённая работа, доступная из любой точки мира.
• Глобальная команда, работающая удалённо по всему миру.