Инженер данных DWH — RT/NRT и AI-агенты

Команда DWH Лавки работает над хранилищем, которое поддерживает аналитику и ключевые операционные процессы бизнеса. Сейчас развивается направление RT/NRT-данных для AI-систем Лавки.

Стек технологий:

• Python, SQL и YQL
• Внутренний Code Driven фреймворк DMP Suite
• YT, Greenplum и ClickHouse
• Apache Flink / Flink Flow и LogBroker для потоковой обработки
• Встроенные инструменты Data Quality, мониторинга и управления ETL-процессами

Задачи:

• Развитие поставок данных: проектировать и развивать RT/NRT-поставки данных для разных сценариев работы продуктовых команд — например, для жизненного цикла заказа, работы сотрудников, складских операций и отслеживания доступности товаров.
• Проектирование RT-данных: помогать системным аналитикам и продуктовым командам проектировать RT-данные — подбирать источники и способы обработки, определять модель событий, контракты, требования к свежести и качеству данных.
• Поиск возможностей по RT-данным: искать новые способы работы с RT-данными, разрабатывать универсальные подходы и помогать внутренним заказчикам разобраться, какие задачи можно решить с их помощью.
• Инженерные задачи и развитие DWH: вести инженерные задачи — исследование процессов и источников данных, запуск решений в промышленную эксплуатацию, контролирование их работы и безопасное развитие DWH, который имеет большой граф зависимостей.

Ожидания:

• Проектировали и поддерживали промышленные RT/NRT-пайплайны
• Занимались разработкой в крупном DWH или распределённой платформе
• Умеете проектировать надёжную обработку событийных данных
• Уверенно владеете Python и SQL

Условия:

• Ежегодные медицинские чекапы, йога и психотерапия
• Формат работы: офис