Gen AI Engineer: мультимодальные пайплайны, промт-инжиниринг

Gen AI Engineer (медиа-индустрия), 100% удалённо. Старт: как можно скорее, в зависимости от доступности кандидата. Технологическое окружение: стек AWS, тесная работа с командой AWS. Процесс собеседования: 2 этапа. Формат сотрудничества: enterprise-программа, критичная для выручки, в области потокового вещания и AI в реальном времени.

Обзор роли Проектирование, создание и оптимизация мультимодальных пайплайнов на основе генеративного ИИ для обнаружения контекстных моментов в прямых видеопотоках. Основной фокус — промт-инжиниринг, мультимодальный инференс и оптимизация моделей с использованием фундаментальных моделей, таких как Claude, Nova и Amazon Bedrock, для максимизации точности обнаружения.

Ключевые обязанности

• Разработка и оптимизация стратегий промт-инжиниринга для фундаментальных моделей.
• Построение пайплайнов мультимодального инференса по видео, транскриптам и аудио.
• Обнаружение и классификация пользовательских моментов и контекстных событий.
• Разработка переиспользуемых фреймворков для шаблонов обнаружения моментов, генерации структурированных метаданных и оптимизации промтов.
• Тонкая настройка промтов и конфигураций для повышения точности и аккуратности по разным типам моментов.
• Интеграция выходных данных GenAI в структурированные JSON-метаданные, нижестоящие системы и пайплайны обработки данных.
• Работа с сервисами AWS, включая Amazon Bedrock, AWS Lambda, Amazon S3 и Amazon Kinesis.
• Взаимодействие с командой QA для валидации и оптимизации результатов.
• Поддержка производственного запуска и непрерывного улучшения.

Требуемые навыки и опыт

• Уверенный опыт промт-инжиниринга для фундаментальных моделей, таких как Claude, Nova и др.
• Опыт работы с мультимодальными AI-системами, охватывающими компьютерное зрение и NLP.
• Опыт инференса и оптимизации LLM.
• Работа со структурированными выходными данными, включая генерацию и валидацию JSON.
• Сильное программирование на Python и разработка пайплайнов данных.
• Опыт работы с облачным стеком AWS, в частности Bedrock, Lambda, S3, аналитическими и data-пайплайнами.
• Опыт в видеоаналитике или медиа-AI-процессах.
• Опыт работы с AI-системами в реальном или почти реальном времени.