Назад к вакансиям

Вакансия закрыта

Отклик больше не принимается. Мы сохранили описание как архив и подобрали актуальные вакансии по этому направлению.

Логотип Telegram
Telegram1 июля 2026 г.

Data Engineer (Python + Spark)

X5 Tech

ВознаграждениеПо договорённости
Локация
Россия
Формат
Офис
Направления
DevOps
Отклик
Вакансия закрыта

Data Engineer (Python + Spark)

Компания: X5 Tech Локация: Москва, офис

Задачи

Мы строим end-to-end пайплайны, которые собирают данные из разных источников (онлайн и оффлайн-продажи, ERP, внешние API), очищают, трансформируют и подготавливают их для моделей машинного обучения (бустинг и нейронные сети). От качества этих пайплайнов зависит точность прогноза и миллионы управленческих решений в закупках и логистике

  • Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)
  • Настраивать хранение и доступность данных в DWH
  • Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари
  • Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей
  • Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной

Технологический стек

  • PySpark 2/3 / Spark SQL
  • Hadoop / Hive / Trino / S3 / ClickHouse / PostgreSQL / Greenplum
  • Airflow
  • Python3
  • Docker, YARN / Kubernetes
  • pytest