Staff AI Product Analyst
Angi — компания в сфере домашних услуг, основана в 1995 году как Angie's List, ребрендинг в 2021. 9 брендов в 8 странах, 300 млн домашних проектов.
Команда Staff AI Product Analyst будет определять AI-native продуктовую аналитику для Angi, превращая технологии в приоритизированные сценарии использования, дисциплины оценки и доверенную экосистему данных. Роль центральна для построения агентной продуктовой аналитики Angi: определение, где AI-native аналитика даёт реальный рычаг, проектирование фреймворков оценки, заслуживающих доверия организации, и установление повторяемых стандартов систем. Как senior individual contributor, вы будете иметь широкое влияние на функцию продуктовой аналитики и за её пределами, обеспечивая согласованность человеческих команд и AI-агентов по истине, качеству и полезности. Идеальный кандидат — системно мыслящий эксперт по данным, соединяющий глубокие AI-возможности с практическими бизнес-результатами.
Задачи AI Product Strategy & Metrics Design
- Flagship Journey Measurement: совместно с AI-продуктом, инженерией и доменными экспертами определять north-star и guardrail метрики для флагманских AI-путей, фокус на adoption, завершении задач, качестве и downstream бизнес-результатах.
- Causal Framing & Experimentation: тесная работа с партнёрами по data science над дизайном тестов, интерпретацией и причинно-следственным фреймингом при запуске новых AI-продуктов.
- Data Layer Systems Thinking: картировать взаимодействие агентов с метриками, сырыми таблицами, документацией и API, чтобы требования к данным и аналитической инженерии были явными, структурированными и тестируемыми.
Evaluation, Governance & Backlog Management
- Eval Framework Architecture: проектировать и поддерживать формальные наборы оценки, golden datasets, рубрики и регрессионные проверки для выходов агентов, гарантируя точность, полноту, безопасность политик и полезность.
- Taxonomy & Failure Mode Analysis: систематически категоризировать неверные ответы, неправильное использование инструментов, пробелы контекста и краевые случаи данных, возвращая инсайты в промпты, retrieval (RAG), инструменты и пайплайны моделирования данных.
- Performance Monitoring: мониторить живое использование агентных AI-аналитических workflow — отслеживать успех, отказ, паттерны fallback и частоту ручного вмешательства для поддержания приоритизированного бэклога улучшений инженерии.
Cross-Functional Leadership & Enablement
- Playbooks & Narrative: владеть внутренней документацией, определяющей, когда использовать агентов, необходимые человеческие контрольные точки и как сообщать о неопределённости. Поддерживать enablement и storytelling руководства вокруг агентной AI-аналитики.
- Strategic Collaboration: партнёрство с бизнес-лидерами, Principal Analytics Engineer и командами data engineering для перевода сложных AI-возможностей в измеримые бизнес-результаты.
- Defining Success: поставлять регулярные артефакты измерений (дашборды, обзоры или письменные отчёты), которые руководство использует для приоритизации роадмапов, одновременно снижая высокосерьёзные инциденты, когда агенты выдают неверные метрики.
Минимальные квалификации
- Бакалавр в computer science или количественной области (например, Computer Science, Statistics, Mathematics или смежные).
- 10+ лет опыта в продуктовой аналитике, data science или техническом продуктовом менеджменте в сложной высокомасштабной среде.
- 1+ год прямого практического опыта работы с AI/LLM системами в прикладном контексте, с фокусом на оценку, доверие и ответственное развёртывание.
- Глубокая техническая квалификация в Python, ML-фреймворках, платформах визуализации/аналитики данных и стандартных практиках управления/управления данными.
- Подтверждённый опыт проектирования фреймворков оценки AI, включая формальные evals, golden datasets, продакшн-мониторинг или эквивалентную строгость в смежной дисциплине данных.
- Исключительные коммуникативные навыки с демонстрируемой способностью переводить высокотехнические AI-инсайты и компромиссы в ясные нарративы для нетехнических бизнес-стейкхолдеров.
Предпочтительные квалификации
- Опыт построения или оценки агентных аналитических workflow, фреймворков оркестрации и знакомство с мультиагентными системами.
- Демонстрируемая способность работать в условиях неопределённости, проводить структурированные эксперименты или пилоты и по умолчанию действовать быстро и итеративно.
- Системно-ориентированное мышление со здоровым скептицизмом к AI-хайпу, фокус строго на организационных результатах и технических инвестициях, приносящих реальную бизнес-ценность.
