Компания Vomela, работающая в сфере визуальных коммуникаций, ищет Principal Data Engineer. Это старшая инженерная роль, предполагающая владение платформой данных Microsoft Fabric и формирование технической стратегии.
Зарплата: $180 000–200 000 в год.
Задачи:
- Проектировать и внедрять размерные модели, схемы «звезда» и «снежинка».
- Строить и поддерживать семантические модели как единый источник истины для отчетности.
- Реализовывать стратегии медленно меняющихся измерений (SCD) для каждого домена.
- Отвечать за мастер-данные: паттерны golden record, определение источника записи, разрешение идентификаторов между системами.
- Устанавливать и контролировать стандарты моделирования данных в команде.
- Проектировать и эксплуатировать потоковые конвейеры реального и near-real-time времени с использованием Kafka, Confluent Cloud и Fabric Eventstreams.
- Снижать устаревание данных в пакетных сценариях через интеллектуальное планирование, оптимизацию инкрементальных загрузок и оркестрацию.
- Отвечать за настройку производительности: оптимизацию запросов, стратегию партиционирования, индексацию, компактацию Delta-таблиц, эффективность обновления семантических моделей и готовность Direct Lake.
- Применять операционную инженерную дисциплину: наблюдаемость конвейеров, алертинг, определение SLA, восстановление после сбоев, планирование мощности.
- Проектировать и внедрять контроли для чувствительных данных (финансы, PII, HIPAA).
- Разрабатывать надежные и масштабируемые конвейеры ETL/ELT: watermark-инкрементальные загрузки, паттерны CDC, пакетная и потоковая архитектуры.
- Обеспечивать идемпотентность, восстанавливаемость и производственную готовность конвейеров.
- Выступать старшим техническим голосом на код-ревью.
- Преобразовывать бизнес-требования в семантические модели и артефакты отчетности, понятные нетехническим пользователям.
- Быть основным техническим интерфейсом платформы для потребителей: разработчиков отчетов Power BI, ИИ/ML-разработчиков и разработчиков приложений, работающих через SQL-эндпоинты, REST API или Direct Lake.
- Определять и обеспечивать соблюдение контрактов данных: стабильность схем, паттерны доступа, SLA для каждого класса потребителей.
- Отвечать за developer experience платформы: обнаруживаемость, документацию, онбординг.
Требования:
- Microsoft Fabric: Lakehouses, Notebooks, Dataflows Gen2, Event streams, Semantic Models, Direct Lake.
- Power BI: разработка отчетов, дизайн датасетов и семантических моделей, уверенное владение DAX.
- SQL Server / Azure SQL / Postgres: оптимизация запросов, проектирование схем, хранимые процедуры.
- Azure DevOps: Git-процессы разработки, CI/CD для конвейеров данных.
- Подтвержденное использование ИИ-ассистентов для написания кода в производственном процессе.
- Умение критически оценивать, редактировать и улучшать сгенерированный ИИ код и артефакты.
- Понимание, где ИИ ускоряет работу, а где создает риски.
Предпочтительно:
- Знание Azure Data Services: Azure Data Factory, Synapse Analytics, ADLS Gen2, Event Hubs.
- Опыт работы в компаниях, поддерживаемых private equity, или в мульти-юридических структурах.
- Опыт работы с MDM-платформами: Profisee, Semarchy, Ataccama или аналоги.
- Опыт работы с Confluent Cloud / Apache Kafka для потоковой загрузки в Fabric или Synapse.
- Знакомство с кросс-тенантной архитектурой Azure / Fabric.
- Бэкграунд в бизнес-анализе, архитектуре решений или pre-sales инжиниринге.
- Сертификация Microsoft Fabric или Azure Data Engineer.
