Lead AI Architect — data platform
Banyan Software — постоянный дом для софтверных бизнесов, обслуживающих специализированные отрасли. Компания приобретает и развивает компании по всему миру, помогая им модернизироваться за счёт общих AI-компетенций и операционной дисциплины. Основана в 2016 году, управляет более чем 120 портфельными компаниями в Северной и Южной Америке, Европе и APAC.
Роль
Banyan нанимает первого Lead AI Architect, который спроектирует, построит и будет эксплуатировать централизованную платформу данных и AI. Основа работы — централизованная модель данных, data lake Banyan, которая консолидирует уже имеющиеся данные и открывает безопасные AI-эксперименты для внутренних функциональных команд: финансов, M&A, развития бизнеса и других. Роль смоделирована по классическому Enterprise Architect и адаптирована под AI-first мир. Вы задаёте целевую архитектуру, выбираете стандартизируемые паттерны, пишете код сами и отвечаете за результат. Это роль player-coach: начинаете руками, со временем строите и возглавляете небольшую платформенную команду.
Что предстоит построить
- Централизованный data lake на AWS — единый управляемый источник истины для внутренних данных Banyan, рассчитанный на аналитику, ML и AI-эксперименты.
- Референсную архитектуру для AI: паттерны и строительные блоки, с помощью которых вертикали проходят путь от идеи до безопасного продакшена: выбор модели, RAG, оценка, наблюдаемость, контроль затрат.
- Guardrails для безопасных экспериментов: классификация данных, уровни доступа, песочницы, аудит-логи и чёткие правила, что и куда можно отправлять.
- Платформенную команду и операционную модель: команда, стандарты и ритуалы, которые поддерживают надёжность и развитие платформы по мере роста внедрения.
Задачи
- Определять и владеть целевой архитектурой данных и AI для Banyan, явно фиксировать компромиссы.
- Проектировать и строить data lake на AWS: паттерны хранения, каталогизации, запросов, загрузки, моделирования и lineage. Ожидаемый стек: S3, Glue, Lake Formation, Athena, Redshift, Iceberg или аналогичные открытые табличные форматы, а также Terraform или CDK для infrastructure as code.
- Разворачивать слой AI-экспериментов: доступ к моделям через Anthropic, OpenAI и другие LLM.
- Устанавливать data contracts, стандарты схем, соглашения об именовании и доменную модель, устойчивую при добавлении источников и приобретении компаний.
- Работать с Senior Business Analysts, встроенными в финансы, M&A и развитие бизнеса, чтобы переводить сценарии использования в требования к платформе и разблокировать их работу.
- Определять guardrails безопасности, приватности и AI safety: классифицировать данные, проектировать уровни доступа, задавать правила обработки PII, регулируемых данных и конфиденциальной информации портфельных компаний.
- Оставаться hands-on: писать код, поставлять инфраструктуру, проводить код-ревью и отлаживать продакшен-проблемы.
- Строить команду, включая вертикально ориентированных Senior Business AI Analysts; находить подходящих подрядчиков для data platform engineers, ML platform engineers и data engineers; менторить их и задавать планку инженерного качества.
- Отвечать за надёжность, наблюдаемость и стоимость платформы: задавать SLO, отслеживать использование и удерживать счёт разумным по мере масштабирования.
- Представлять AI- и data-архитектуру Banyan исполнительной команде, портфельным компаниям и внешним партнёрам.
Ожидаемые результаты первого года
- Production-ready управляемый фундамент data lake на AWS с как минимум тремя приоритетными доменами данных, загруженными и смоделированными.
- Как минимум две функциональные вертикали, подключённые к платформе с безопасным аудируемым доступом к данным для аналитики и AI-экспериментов.
- Документированная референсная архитектура, модель безопасности и библиотека стандартов, к которым могут подключаться новые сценарии и новые сотрудники.
- Как минимум один AI-сценарий в продакшене через платформу с мониторингом, оценкой и понятной историей ROI.
- Первые один-два найма в команду, выведенные на продуктивность.
Требования
- 10+ лет построения data- и AI-платформ в продакшене в значимом масштабе; вы поставляли результаты, а не только рисовали диаграммы.
- Глубокая экспертиза в AWS: hands-on с S3, IAM, KMS, networking, Glue, Lake Formation, Athena, Redshift, SageMaker, Bedrock и EKS или ECS.
- Сильные навыки data-архитектуры: паттерны lakehouse, открытые табличные форматы (Iceberg, Delta или Hudi), моделирование данных, фреймворки загрузки (Fivetran, Airbyte, кастомные), оркестрация (Airflow, Dagster или аналоги) и lineage.
- Реальный опыт с современными паттернами AI/ML-платформ: feature stores, model registries, эксперименты.