Data Engineer: ETL/ELT и инфраструктура данных

Международная компания с головным офисом в Дубае (ОАЭ) разрабатывает AI-решения для автоматизации клиентских коммуникаций, управления знаниями и оптимизации бизнес-процессов. Ищут Data Engineer, который поможет выстроить надёжную инфраструктуру данных, стабилизировать существующие интеграции и развивать архитектуру данных для аналитики и AI-продуктов. Hands-on роль для специалиста, который любит разбираться в сложных системах, самостоятельно принимать технические решения и видеть результат в реальных бизнес-процессах.

Текущий стек:

• Базы данных: PostgreSQL, MySQL (CRM Bitrix24).
• Data Infrastructure: Debezium, Kafka, CDC.
• Infrastructure & Monitoring: Kubernetes, Docker, GitLab, Grafana, Loki, Prometheus, Cloudflare.
• Automation: n8n, интеграции с LLM.
• Источники данных: Bitrix24 REST API, GA4, Яндекс.Метрика, UIS, Calltouch, WhatsApp Business API, Slack, Google Sheets, платёжные системы и другие внешние сервисы.

Задачи:

• Развивать архитектуру данных: проектировать и поддерживать хранилище, стабилизировать CDC на базе Debezium и Kafka, обеспечивать надёжность передачи данных.
• Строить ETL/ELT-пайплайны: интегрировать данные из CRM, API, веб-аналитики, платёжных систем и других источников, обеспечивать инкрементальную загрузку, дедупликацию и идемпотентность.
• Проектировать модели данных: выстраивать слои raw → staging → marts, стандартизировать структуры и обеспечивать качество данных.
• Развивать сквозную аналитику: объединять данные от первого контакта клиента до оплаты, обеспечивать корректную маркетинговую атрибуцию (UTM, gclid, коллтрекинг, мессенджеры).
• Подготавливать данные для AI/LLM-продуктов: логирование диалогов, отслеживание использования моделей и стоимости токенов, подготовка eval-датасетов, контроль актуальности данных.
• Создавать витрины и API для аналитики, внутренних продуктов и AI-агентов.
• Обеспечивать мониторинг и Data Quality: настраивать проверки полноты, свежести и согласованности данных, алерты и SLA.
• Работать с безопасностью данных: разграничение доступов, маскирование персональной информации и соблюдение политик хранения.
• Документировать архитектуру, модели данных и интеграции.

Требования:

• Опыт работы в Data Engineering или смежных направлениях от 3 лет.
• Уверенный SQL: сложные запросы, оконные функции, оптимизация производительности.
• Глубокое понимание PostgreSQL: индексы, планы выполнения запросов, базовые принципы репликации и резервного копирования.
• Практический опыт интеграции с REST API: пагинация, лимиты, ретраи, вебхуки, инкрементальные загрузки.
• Python для разработки коннекторов, автоматизации и обработки данных.
• Уверенная работа с Linux, Bash, SSH и Git.
• Опыт работы с Docker и базовое понимание Kubernetes.
• Понимание принципов построения надёжных ETL/ELT-пайплайнов и моделирования данных.

Будет преимуществом:

• Опыт с dbt, Airflow, Prefect или Dagster.
• Практическая работа с Kafka, Debezium и CDC.
• Интеграции с Bitrix24 или другими CRM-системами.
• Опыт использования Airbyte, Meltano, Fivetran или аналогичных инструментов.
• Понимание веб-аналитики, маркетинговой атрибуции и сквозной аналитики.
• Опыт подготовки данных для ML/LLM-продуктов, работы с pgvector, embeddings и eval-пайплайнами.
• Знакомство с AWS, GCP, Yandex Cloud, Terraform, Ansible.
• Опыт работы с Prometheus, Grafana и n8n.

Условия:

• Формат: полностью удалённая работа.
• График: 5/2, с 10:00 до 19:00 по времени ОАЭ (Dubai Time).
• Оформление: контракт удалённого сотрудника.
• Оплата: выплаты в валюте на зарубежный банковский счёт или другими способами по согласованию с сотрудником.
• Зарплата: от 3 000 до 4 000 $ за месяц на руки.