Промт-инженер Conversational AI

Morgan Stanley — глобальная финансовая компания, предоставляющая инвестиционно-банковские, брокерские, инвестиционные и управленческие услуги. Команда Wealth Management Generative AI отвечает за внедрение генеративного ИИ для оптимизации бизнес-процессов, управление и контроль этичного использования ИИ, а также обучение других подразделений.

Задачи

• Разрабатывать и поддерживать различающиеся conversational-интерфейсы для виртуальных ассистентов сотрудников и клиентов, обеспечивающих доступ к знаниям, данным и рабочим процессам.
• Разрабатывать и дорабатывать контекстно-зависимые промты под разные сценарии, домены и намерения пользователей для повышения точности, релевантности и эффективности ответов чат-бота; обеспечивать масштабируемость, устойчивость и интеграцию с технической инфраструктурой.
• Разрабатывать и поддерживать основанные на данных методики тестирования и оценки ответов генеративного ИИ на связность, предвзятость, фактическую точность и удовлетворённость пользователей; создавать и управлять человеческими оценками — ручными и автоматизированными стратегиями, такими как LLM-as-a-judge.
• Выявлять и устранять проблемы и аномалии в выходах LLM, давать обратную связь и рекомендации по улучшению и оптимизации решений.
• Выявлять потенциальные риски и проблемы, влияющие на выполнение проекта, и разрабатывать упреждающие стратегии их устранения; отслеживать показатели проекта и при необходимости внедрять корректирующие действия.
• Выстраивать и поддерживать эффективные каналы коммуникации с внутренними стейкхолдерами — техническими партнёрами и владельцами бизнес-продуктов; управлять ожиданиями и решать возникающие вопросы.
• Взаимодействовать с кросс-функциональными командами, включая внутренних стейкхолдеров и партнёров-вендоров.
• Отслеживать метрики и KPI проекта для измерения прогресса и выявления областей для улучшения.

Требования

• Опыт работы с conversational AI: создание решений, разработка продукта, экспериментирование или инновации.
• Опыт промт-инжиниринга с коммерческими или открытыми LLM, такими как GPT, Claude, Gemini, LLAMA.
• Опыт применения методов оценки conversational AI, таких как F1, RAGAS и анализ обратной связи от людей.
• Сильное понимание концепций и технологий искусственного интеллекта.
• Отличные коммуникативные, межличностные и лидерские навыки.
• Подтверждённый опыт управления программами или проектами.
• Способность вести несколько проектов одновременно в быстро меняющейся среде.
• Аналитические способности и навыки решения проблем, внимание к деталям.

Условия

• Локация: Purchase, NY; Нью-Йорк, Нью-Йорк-Плаза.
• Зарплата не указана.