Data Engineer (инженер данных) — специалист, который строит и поддерживает инфраструктуру данных: собирает данные из баз, API и логов, очищает и преобразует их, загружает в хранилища и следит, чтобы аналитики, BI-системы и ML-модели получали свежие и корректные данные. Основной стек — SQL, Python, Apache Spark, Kafka, Airflow и аналитические СУБД вроде ClickHouse и Greenplum. В России в 2026 году инженеры данных уровня Middle получают ориентировочно 180–300 тыс. ₽ в месяц, Senior — 280–420 тыс. ₽.
Кто такой Data Engineer
Компании копят данные в десятках систем: CRM, сайт, мобильное приложение, 1С, платёжный шлюз, рекламные кабинеты. Пока эти данные разрознены, ни аналитик, ни ML-модель не могут с ними работать. Инженер данных соединяет источники в единое хранилище и делает так, чтобы данные приходили туда по расписанию или в реальном времени.
Профессию часто называют «сантехником данных»: заметна она только тогда, когда что-то ломается. Если дашборд показывает вчерашние продажи как нулевые, а модель рекомендаций обучилась на дублях, первым делом смотрят на пайплайны (конвейеры обработки данных), за которые отвечает Data Engineer.
Чем Data Engineer отличается от смежных ролей
| Роль | Фокус | Результат работы |
|---|---|---|
| Data Engineer | Сбор, хранение, преобразование и доставка данных | Надёжные пайплайны и хранилище с актуальными данными |
| Аналитик данных | Метрики, исследования, A/B-тесты | Отчёты, дашборды и выводы для бизнеса |
| Data Scientist | Гипотезы и модели на данных | Прототипы моделей и прогнозы |
| ML-инженер | Обучение и вывод моделей в продакшен | Сервис с моделью у пользователей |
| DWH-разработчик / ETL-разработчик | Узкая часть работы инженера данных: слой хранилища и загрузки | Витрины данных и ETL-процессы |
В вакансиях роль называют по-разному: «инженер данных», «Data Engineer», «DWH-разработчик», «ETL-разработчик», «Big Data-разработчик», «разработчик хранилища данных». Подробно о соседних профессиях — в статьях про аналитика данных и ML-инженера.
Чем занимается инженер данных
Типичные задачи:
- подключать источники: базы данных сервисов, внешние API, файлы, потоки событий;
- проектировать ETL/ELT-процессы. ETL (Extract, Transform, Load) — извлечь, преобразовать и загрузить данные; в ELT преобразование выполняют уже внутри хранилища;
- проектировать модель хранилища (DWH, data warehouse) или озера данных (data lake): слои сырых, очищенных и агрегированных данных, витрины под конкретные отчёты;
- настраивать оркестрацию — запуск задач по расписанию и с учётом зависимостей, обычно в Apache Airflow;
- обрабатывать большие объёмы в Spark и потоки событий в Kafka или Flink;
- проверять качество данных: дубли, пропуски, расхождения с источником, задержки загрузки;
- оптимизировать запросы и стоимость хранения, разбираться с медленными витринами;
- мигрировать хранилища, например с Oracle на Greenplum или ClickHouse, — заметная часть вакансий 2026 года связана именно с такими переездами;
- готовить данные и фичи для ML-моделей и LLM-сервисов, включая наполнение векторных баз для RAG.
Пример задачи
Маркетплейс хочет видеть выручку по категориям с задержкой не больше часа. Инженер данных настраивает выгрузку заказов из PostgreSQL через CDC (Change Data Capture — захват изменений в источнике) в Kafka, пишет обработку на Spark, складывает результат в ClickHouse и собирает витрину для BI. Отдельно он добавляет проверки: если за час не пришло ни одного заказа или сумма расходится с источником больше чем на 1%, в чат дежурных уходит оповещение.
Навыки и инструменты
Обязательная база:
- SQL на продвинутом уровне: оконные функции, CTE, планы запросов, индексы, партиционирование;
- Python для пайплайнов и скриптов; в части компаний вместо него или вместе с ним — Scala или Java;
- моделирование данных: схема «звезда», Data Vault, медленно меняющиеся измерения (SCD);
- Linux, Git, Docker, основы сетей;
- понимание распределённых систем: почему Spark-задача упала по памяти и что такое перекос данных.
От Middle и выше ждут Kubernetes, CI/CD для пайплайнов, Terraform, опыт в облаках и умение считать стоимость хранения и вычислений.
| Задача | Инструменты |
|---|---|
| Хранилища и СУБД | PostgreSQL, Greenplum, ClickHouse, Oracle, Vertica, Snowflake, BigQuery |
| Обработка больших данных | Apache Spark, Hadoop (HDFS, Hive), Trino, Apache Flink |
| Потоки и очереди | Apache Kafka, Apache NiFi, Debezium |
| Оркестрация | Apache Airflow, Dagster, Prefect |
| Трансформации и качество | dbt, Great Expectations |
| Озёра данных | S3-хранилища, Apache Iceberg, Delta Lake |
| BI | Yandex DataLens, Superset, Power BI, Tableau |
| Облака | Yandex Cloud, VK Cloud, Cloud.ru, AWS, GCP |
Российские банки и ритейл активно используют Greenplum и ClickHouse, поэтому опыт с ними ценится выше, чем знание зарубежных облачных хранилищ. ИИ-ассистенты (Cursor, Claude Code, GitHub Copilot) инженеры данных используют для генерации SQL, тестов и шаблонного кода DAG; подборка — в каталоге ИИ-инструментов.
Уровни
Вилки ниже — ориентир по вакансиям Хабр Карьеры и hh.ru, опубликованным в 2026 году. Калькулятор зарплат Хабр Карьеры показывает для инженера данных 257,5 тыс. ₽ в месяц по всем грейдам (на основе 383 анкет). В открытых вакансиях Хабр Карьеры осенью 2026 года Senior Data Engineer предлагали 250–300 тыс. ₽, Middle с Python — до 350–370 тыс. ₽, а стартовые позиции «младший разработчик Big Data» в интеграторах начинались от 30–40 тыс. ₽. Москва и крупные банки платят выше, регионы — ниже.
| Уровень | Срок выхода на уровень | Зарплата в РФ, ₽/мес | Что ждут |
|---|---|---|---|
| Junior | 0–1 год (после 6–12 месяцев учёбы или перехода из аналитики, бэкенда, QA) | 80–140 тыс. | Пишет SQL и простые ETL-задачи, поддерживает существующие пайплайны, разбирает падения по инструкции |
| Middle | 1–3 года | 180–300 тыс. | Самостоятельно проектирует пайплайны и витрины, работает со Spark и Airflow, следит за качеством данных |
| Senior | 3–5 лет | 280–420 тыс. | Проектирует архитектуру хранилища, выбирает стек, ведёт миграции, отвечает за стоимость и SLA данных, менторит |
| Lead | 5+ лет | от 400 тыс. (ориентировочно, вакансий с открытой вилкой мало) | Руководит командой платформы данных, формирует стратегию работы с данными вместе с бизнесом |
Удалённая работа на зарубежные компании оплачивается в валюте; в вакансиях на Хабр Карьере для смежных инженерных ролей встречаются вилки 2–4 тыс. $ в месяц. Для таких офферов нужен рабочий английский и опыт с облачными хранилищами.
Где учиться
- Вузы. Программы по анализу данных и программной инженерии есть у ВШЭ, МФТИ, ИТМО, МИСИС. Профильный диплом помогает, но не обязателен.
- Онлайн-курсы. Профессии «Инженер данных» есть у Яндекс Практикума, Karpov.Courses, Skillfactory, Нетологии, OTUS. Сравнивайте курсы по наличию Spark, Kafka и Airflow на реальных проектах, а не только SQL. Подборка — в разделе курсы.
- Самостоятельно. Документация Airflow, Spark и ClickHouse, бесплатный курс Data Engineering Zoomcamp от DataTalks.Club, книга «Designing Data-Intensive Applications» Мартина Клеппмана (в русском переводе — «Высоконагруженные приложения»).
- Сообщество. Open Data Science (ODS), митапы по ClickHouse и Greenplum, статьи инженеров банков и маркетплейсов на Хабре.
Как войти в профессию
Реалистичный срок с нуля — 9–14 месяцев при занятиях 1,5–2 часа в день. Быстрее всего в Data Engineering переходят аналитики данных, бэкенд-разработчики, DBA и тестировщики, которые уже пишут SQL.
- Доведите SQL до уровня, при котором вы читаете план запроса и понимаете, почему запрос медленный.
- Освойте Python: работу с файлами, API, pandas, обработку ошибок.
- Разберитесь в моделировании данных и устройстве колоночных СУБД на примере ClickHouse.
- Поднимите Airflow в Docker и соберите пайплайн: забор данных из API, загрузка в PostgreSQL, витрина в ClickHouse, дашборд в DataLens или Superset.
- Добавьте Spark и Kafka: обработку большого публичного датасета и поток событий.
- Опубликуйте 2–3 проекта на GitHub с README и схемой архитектуры — об этом подробнее в материале про пет-проекты.
- Если вы уже работаете в компании с хранилищем, попросите задачи у команды DWH: внутренний переход быстрее внешнего найма.
Где искать вакансии
Вакансии инженеров данных собраны в разделе разработка. На hh.ru, Хабр Карьере и getmatch ищите по запросам «Data Engineer», «инженер данных», «DWH», «ETL», «Big Data», «Greenplum», «Spark». Много позиций публикуют аутстаффинговые агентства и интеграторы — уточняйте, кто конечный заказчик и чей стек. Крупные работодатели — банки, маркетплейсы, телеком, ритейл, финтех.
Как составить портфолио и резюме
Работодатель ищет доказательства, что вы строили пайплайны, которые работают каждый день, а не один раз. Для каждого проекта укажите:
- источники и объём данных (строк в сутки, гигабайт, число таблиц);
- архитектуру: откуда, через что и куда идут данные;
- стек и почему выбран именно он;
- результат в цифрах: время загрузки сократилось с 4 часов до 40 минут, задержка данных — до 15 минут, стоимость хранения снизилась на 30%;
- как устроены мониторинг и проверки качества.
Собрать документ по шаблону можно в конструкторе резюме.
Скачать образец резюме
Образец резюме Data Engineer в PDF можно получить за подписку на Telegram-канал VibeJobs: [ссылка на Telegram-канал]. В нём:
- структура резюме под вакансии «Data Engineer», «DWH-разработчик» и «ETL-разработчик»;
- примеры описания пайплайнов и миграций с объёмами данных и результатом в цифрах;
- блок стека: SQL, Python, Spark, Kafka, Airflow, ClickHouse, Greenplum;
- как описать переход из аналитики, бэкенда или тестирования;
- как оформить пет-проект с архитектурной схемой;
- ошибки, из-за которых резюме отсеивают до технического интервью.
Как проходит собеседование
Обычно отбор включает:
- скрининг с рекрутером;
- SQL-секцию: оконные функции, JOIN, оптимизация запроса, разбор плана — для подготовки пригодятся задачи по SQL;
- вопросы по Python и алгоритмам уровня easy/medium;
- теорию: устройство Spark, партиционирование, форматы Parquet и ORC, гарантии доставки в Kafka, моделирование DWH;
- System Design для данных: спроектировать хранилище или пайплайн для заданного бизнеса с учётом объёмов и задержек;
- разговор с командой о прошлых проектах и инцидентах.
Плюсы и минусы профессии
| Плюсы | Минусы |
|---|---|
| Высокий спрос в банках, ритейле, маркетплейсах и госсекторе | Работа «незаметна», пока всё работает, и очень заметна при сбое |
| Меньше математики, чем у Data Scientist и ML-инженера | Дежурства и ночные разборы упавших загрузок |
| Зарплаты на уровне бэкенд-разработки и выше | Много рутины: миграции, легаси, согласование схем с источниками |
| Понятный рост в архитектора данных или ML/MLOps | Стек большой, и его нужно постоянно обновлять |
| Много удалённых и гибридных вакансий | Джунам сложнее найти первую работу: чаще берут с опытом в смежной роли |
Частые вопросы
Нужна ли инженеру данных математика?
Глубокая — нет. Достаточно статистики на уровне средних, медиан и распределений, чтобы проверять качество данных. Важнее алгоритмы, SQL и понимание распределённых систем.
Что выбрать: Python или Scala?
Python. На нём пишут большинство пайплайнов и DAG в Airflow, а PySpark закрывает большую часть задач на Spark. Scala или Java нужны в отдельных компаниях с высоконагруженными потоковыми системами.
Можно ли перейти в Data Engineering из аналитики?
Да, это один из самых частых путей. Аналитик уже знает SQL и бизнес-логику данных; добрать нужно Python-разработку, оркестрацию, Spark и моделирование хранилищ.
Чем Data Engineer отличается от DWH-разработчика?
DWH-разработчик сосредоточен на хранилище: слоях, витринах и ETL внутри него. Инженер данных шире: он отвечает и за источники, и за потоковую обработку, и за инфраструктуру. В вакансиях эти названия часто используют как синонимы.
Заменит ли ИИ инженеров данных?
ИИ-ассистенты ускоряют написание SQL и шаблонного кода, но не берут на себя ответственность за архитектуру, качество и стоимость данных. Кроме того, LLM-проекты создают новые задачи: подготовку документов для RAG, векторные хранилища, контроль данных для обучения моделей.
Сколько вакансий для джунов?
Меньше, чем для Middle и Senior: многие компании ищут инженеров данных с 1–3 годами опыта. Шанс выше у стажировок крупных компаний и у позиций в интеграторах, где обучают на проектах.
