КарьераПрофессии· 9 минут чтения

Data Engineer (инженер данных): кто это, чем занимается и сколько зарабатывает

Разбираем профессию инженера данных: задачи, стек от SQL до Spark и Airflow, уровни и зарплатные вилки 2026 года, путь в профессию и подготовку резюме.

Data Engineer (инженер данных): кто это, чем занимается и сколько зарабатывает

Data Engineer (инженер данных) — специалист, который строит и поддерживает инфраструктуру данных: собирает данные из баз, API и логов, очищает и преобразует их, загружает в хранилища и следит, чтобы аналитики, BI-системы и ML-модели получали свежие и корректные данные. Основной стек — SQL, Python, Apache Spark, Kafka, Airflow и аналитические СУБД вроде ClickHouse и Greenplum. В России в 2026 году инженеры данных уровня Middle получают ориентировочно 180–300 тыс. ₽ в месяц, Senior — 280–420 тыс. ₽.

Кто такой Data Engineer

Компании копят данные в десятках систем: CRM, сайт, мобильное приложение, 1С, платёжный шлюз, рекламные кабинеты. Пока эти данные разрознены, ни аналитик, ни ML-модель не могут с ними работать. Инженер данных соединяет источники в единое хранилище и делает так, чтобы данные приходили туда по расписанию или в реальном времени.

Профессию часто называют «сантехником данных»: заметна она только тогда, когда что-то ломается. Если дашборд показывает вчерашние продажи как нулевые, а модель рекомендаций обучилась на дублях, первым делом смотрят на пайплайны (конвейеры обработки данных), за которые отвечает Data Engineer.

Чем Data Engineer отличается от смежных ролей

Роль Фокус Результат работы
Data Engineer Сбор, хранение, преобразование и доставка данных Надёжные пайплайны и хранилище с актуальными данными
Аналитик данных Метрики, исследования, A/B-тесты Отчёты, дашборды и выводы для бизнеса
Data Scientist Гипотезы и модели на данных Прототипы моделей и прогнозы
ML-инженер Обучение и вывод моделей в продакшен Сервис с моделью у пользователей
DWH-разработчик / ETL-разработчик Узкая часть работы инженера данных: слой хранилища и загрузки Витрины данных и ETL-процессы

В вакансиях роль называют по-разному: «инженер данных», «Data Engineer», «DWH-разработчик», «ETL-разработчик», «Big Data-разработчик», «разработчик хранилища данных». Подробно о соседних профессиях — в статьях про аналитика данных и ML-инженера.

Чем занимается инженер данных

Типичные задачи:

  • подключать источники: базы данных сервисов, внешние API, файлы, потоки событий;
  • проектировать ETL/ELT-процессы. ETL (Extract, Transform, Load) — извлечь, преобразовать и загрузить данные; в ELT преобразование выполняют уже внутри хранилища;
  • проектировать модель хранилища (DWH, data warehouse) или озера данных (data lake): слои сырых, очищенных и агрегированных данных, витрины под конкретные отчёты;
  • настраивать оркестрацию — запуск задач по расписанию и с учётом зависимостей, обычно в Apache Airflow;
  • обрабатывать большие объёмы в Spark и потоки событий в Kafka или Flink;
  • проверять качество данных: дубли, пропуски, расхождения с источником, задержки загрузки;
  • оптимизировать запросы и стоимость хранения, разбираться с медленными витринами;
  • мигрировать хранилища, например с Oracle на Greenplum или ClickHouse, — заметная часть вакансий 2026 года связана именно с такими переездами;
  • готовить данные и фичи для ML-моделей и LLM-сервисов, включая наполнение векторных баз для RAG.

Пример задачи

Маркетплейс хочет видеть выручку по категориям с задержкой не больше часа. Инженер данных настраивает выгрузку заказов из PostgreSQL через CDC (Change Data Capture — захват изменений в источнике) в Kafka, пишет обработку на Spark, складывает результат в ClickHouse и собирает витрину для BI. Отдельно он добавляет проверки: если за час не пришло ни одного заказа или сумма расходится с источником больше чем на 1%, в чат дежурных уходит оповещение.

Обязательная база:

  • SQL на продвинутом уровне: оконные функции, CTE, планы запросов, индексы, партиционирование;
  • Python для пайплайнов и скриптов; в части компаний вместо него или вместе с ним — Scala или Java;
  • моделирование данных: схема «звезда», Data Vault, медленно меняющиеся измерения (SCD);
  • Linux, Git, Docker, основы сетей;
  • понимание распределённых систем: почему Spark-задача упала по памяти и что такое перекос данных.

От Middle и выше ждут Kubernetes, CI/CD для пайплайнов, Terraform, опыт в облаках и умение считать стоимость хранения и вычислений.

Задача Инструменты
Хранилища и СУБД PostgreSQL, Greenplum, ClickHouse, Oracle, Vertica, Snowflake, BigQuery
Обработка больших данных Apache Spark, Hadoop (HDFS, Hive), Trino, Apache Flink
Потоки и очереди Apache Kafka, Apache NiFi, Debezium
Оркестрация Apache Airflow, Dagster, Prefect
Трансформации и качество dbt, Great Expectations
Озёра данных S3-хранилища, Apache Iceberg, Delta Lake
BI Yandex DataLens, Superset, Power BI, Tableau
Облака Yandex Cloud, VK Cloud, Cloud.ru, AWS, GCP

Российские банки и ритейл активно используют Greenplum и ClickHouse, поэтому опыт с ними ценится выше, чем знание зарубежных облачных хранилищ. ИИ-ассистенты (Cursor, Claude Code, GitHub Copilot) инженеры данных используют для генерации SQL, тестов и шаблонного кода DAG; подборка — в каталоге ИИ-инструментов.

Уровни

Вилки ниже — ориентир по вакансиям Хабр Карьеры и hh.ru, опубликованным в 2026 году. Калькулятор зарплат Хабр Карьеры показывает для инженера данных 257,5 тыс. ₽ в месяц по всем грейдам (на основе 383 анкет). В открытых вакансиях Хабр Карьеры осенью 2026 года Senior Data Engineer предлагали 250–300 тыс. ₽, Middle с Python — до 350–370 тыс. ₽, а стартовые позиции «младший разработчик Big Data» в интеграторах начинались от 30–40 тыс. ₽. Москва и крупные банки платят выше, регионы — ниже.

Уровень Срок выхода на уровень Зарплата в РФ, ₽/мес Что ждут
Junior 0–1 год (после 6–12 месяцев учёбы или перехода из аналитики, бэкенда, QA) 80–140 тыс. Пишет SQL и простые ETL-задачи, поддерживает существующие пайплайны, разбирает падения по инструкции
Middle 1–3 года 180–300 тыс. Самостоятельно проектирует пайплайны и витрины, работает со Spark и Airflow, следит за качеством данных
Senior 3–5 лет 280–420 тыс. Проектирует архитектуру хранилища, выбирает стек, ведёт миграции, отвечает за стоимость и SLA данных, менторит
Lead 5+ лет от 400 тыс. (ориентировочно, вакансий с открытой вилкой мало) Руководит командой платформы данных, формирует стратегию работы с данными вместе с бизнесом

Удалённая работа на зарубежные компании оплачивается в валюте; в вакансиях на Хабр Карьере для смежных инженерных ролей встречаются вилки 2–4 тыс. $ в месяц. Для таких офферов нужен рабочий английский и опыт с облачными хранилищами.

Где учиться

  • Вузы. Программы по анализу данных и программной инженерии есть у ВШЭ, МФТИ, ИТМО, МИСИС. Профильный диплом помогает, но не обязателен.
  • Онлайн-курсы. Профессии «Инженер данных» есть у Яндекс Практикума, Karpov.Courses, Skillfactory, Нетологии, OTUS. Сравнивайте курсы по наличию Spark, Kafka и Airflow на реальных проектах, а не только SQL. Подборка — в разделе курсы.
  • Самостоятельно. Документация Airflow, Spark и ClickHouse, бесплатный курс Data Engineering Zoomcamp от DataTalks.Club, книга «Designing Data-Intensive Applications» Мартина Клеппмана (в русском переводе — «Высоконагруженные приложения»).
  • Сообщество. Open Data Science (ODS), митапы по ClickHouse и Greenplum, статьи инженеров банков и маркетплейсов на Хабре.

Как войти в профессию

Реалистичный срок с нуля — 9–14 месяцев при занятиях 1,5–2 часа в день. Быстрее всего в Data Engineering переходят аналитики данных, бэкенд-разработчики, DBA и тестировщики, которые уже пишут SQL.

  1. Доведите SQL до уровня, при котором вы читаете план запроса и понимаете, почему запрос медленный.
  2. Освойте Python: работу с файлами, API, pandas, обработку ошибок.
  3. Разберитесь в моделировании данных и устройстве колоночных СУБД на примере ClickHouse.
  4. Поднимите Airflow в Docker и соберите пайплайн: забор данных из API, загрузка в PostgreSQL, витрина в ClickHouse, дашборд в DataLens или Superset.
  5. Добавьте Spark и Kafka: обработку большого публичного датасета и поток событий.
  6. Опубликуйте 2–3 проекта на GitHub с README и схемой архитектуры — об этом подробнее в материале про пет-проекты.
  7. Если вы уже работаете в компании с хранилищем, попросите задачи у команды DWH: внутренний переход быстрее внешнего найма.

Где искать вакансии

Вакансии инженеров данных собраны в разделе разработка. На hh.ru, Хабр Карьере и getmatch ищите по запросам «Data Engineer», «инженер данных», «DWH», «ETL», «Big Data», «Greenplum», «Spark». Много позиций публикуют аутстаффинговые агентства и интеграторы — уточняйте, кто конечный заказчик и чей стек. Крупные работодатели — банки, маркетплейсы, телеком, ритейл, финтех.

Как составить портфолио и резюме

Работодатель ищет доказательства, что вы строили пайплайны, которые работают каждый день, а не один раз. Для каждого проекта укажите:

  • источники и объём данных (строк в сутки, гигабайт, число таблиц);
  • архитектуру: откуда, через что и куда идут данные;
  • стек и почему выбран именно он;
  • результат в цифрах: время загрузки сократилось с 4 часов до 40 минут, задержка данных — до 15 минут, стоимость хранения снизилась на 30%;
  • как устроены мониторинг и проверки качества.

Собрать документ по шаблону можно в конструкторе резюме.

Скачать образец резюме

Образец резюме Data Engineer в PDF можно получить за подписку на Telegram-канал VibeJobs: [ссылка на Telegram-канал]. В нём:

  • структура резюме под вакансии «Data Engineer», «DWH-разработчик» и «ETL-разработчик»;
  • примеры описания пайплайнов и миграций с объёмами данных и результатом в цифрах;
  • блок стека: SQL, Python, Spark, Kafka, Airflow, ClickHouse, Greenplum;
  • как описать переход из аналитики, бэкенда или тестирования;
  • как оформить пет-проект с архитектурной схемой;
  • ошибки, из-за которых резюме отсеивают до технического интервью.

Как проходит собеседование

Обычно отбор включает:

  • скрининг с рекрутером;
  • SQL-секцию: оконные функции, JOIN, оптимизация запроса, разбор плана — для подготовки пригодятся задачи по SQL;
  • вопросы по Python и алгоритмам уровня easy/medium;
  • теорию: устройство Spark, партиционирование, форматы Parquet и ORC, гарантии доставки в Kafka, моделирование DWH;
  • System Design для данных: спроектировать хранилище или пайплайн для заданного бизнеса с учётом объёмов и задержек;
  • разговор с командой о прошлых проектах и инцидентах.

Плюсы и минусы профессии

Плюсы Минусы
Высокий спрос в банках, ритейле, маркетплейсах и госсекторе Работа «незаметна», пока всё работает, и очень заметна при сбое
Меньше математики, чем у Data Scientist и ML-инженера Дежурства и ночные разборы упавших загрузок
Зарплаты на уровне бэкенд-разработки и выше Много рутины: миграции, легаси, согласование схем с источниками
Понятный рост в архитектора данных или ML/MLOps Стек большой, и его нужно постоянно обновлять
Много удалённых и гибридных вакансий Джунам сложнее найти первую работу: чаще берут с опытом в смежной роли

Частые вопросы

Нужна ли инженеру данных математика?

Глубокая — нет. Достаточно статистики на уровне средних, медиан и распределений, чтобы проверять качество данных. Важнее алгоритмы, SQL и понимание распределённых систем.

Что выбрать: Python или Scala?

Python. На нём пишут большинство пайплайнов и DAG в Airflow, а PySpark закрывает большую часть задач на Spark. Scala или Java нужны в отдельных компаниях с высоконагруженными потоковыми системами.

Можно ли перейти в Data Engineering из аналитики?

Да, это один из самых частых путей. Аналитик уже знает SQL и бизнес-логику данных; добрать нужно Python-разработку, оркестрацию, Spark и моделирование хранилищ.

Чем Data Engineer отличается от DWH-разработчика?

DWH-разработчик сосредоточен на хранилище: слоях, витринах и ETL внутри него. Инженер данных шире: он отвечает и за источники, и за потоковую обработку, и за инфраструктуру. В вакансиях эти названия часто используют как синонимы.

Заменит ли ИИ инженеров данных?

ИИ-ассистенты ускоряют написание SQL и шаблонного кода, но не берут на себя ответственность за архитектуру, качество и стоимость данных. Кроме того, LLM-проекты создают новые задачи: подготовку документов для RAG, векторные хранилища, контроль данных для обучения моделей.

Сколько вакансий для джунов?

Меньше, чем для Middle и Senior: многие компании ищут инженеров данных с 1–3 годами опыта. Шанс выше у стажировок крупных компаний и у позиций в интеграторах, где обучают на проектах.