Datanomica ФинансыОпубликована 13 дней назад · отклик: Сайт вакансий
Data-инженер по потоковой передаче данных
Зарплатадо 200 000 ₽до вычета налогов
ФорматГибрид
ЛокацияМосква, Россия
Компания ООО «Датаномика» собирает инженерные команды под задачи крупного бизнеса. 6+ лет на рынке, 160+ инженеров в штате, 45+ реализованных проектов в финсекторе, телекоме и ретейле. Развивает шесть направлений экспертизы: высоконагруженные банковские системы, хранилища данных (DWH), генеративный ИИ, комплаенс-системы, кибербезопасность и импортозамещение софта. Аккредитованная ИТ-компания.
Открыта вакансия Data-инженера в команду крупного российского банка.
Задачи:
- Разработка и поддержка ядра репликации:
- проектирование и реализация высоконагруженных пайплайнов потоковой передачи данных из ERP-системы в КХД;
- разработка механизмов гарантированной доставки (at-least-once, exactly-once semantics) и обработки сбоев без потери целостности финансовых данных;
- оптимизация производительности потоков Kafka и Spark Streaming (управление партиционированием, сжатием, батчингом).
- Работа с витринами данных:
- разработка ETL/ELT-процессов трансформации модели данных банка;
- написание сложных SQL-запросов, оконных функций и хранимых процедур для агрегации банковских метрик;
- поддержка актуальности витрин данных, оптимизация их переформирования при изменении источников.
- Миграция данных (Data Migration):
- участие в проектах вывода из эксплуатации легаси-систем (включая исторические АБС);
- разработка утилит-перекладчиков для извлечения, очистки, обогащения и загрузки исторических массивов данных в новую модель с сохранением ссылочной целостности.
- Качество данных и мониторинг:
- внедрение автоматических проверок качества данных (Data Quality checks): профилирование, поиск дублей, проверка консистентности контрольных сумм;
- настройка мониторинга задержек репликации (lag) и алертинга через Prometheus/Grafana или аналоги.
- Взаимодействие: работа по методологии Agile (Scrum/Kanban), плотное взаимодействие с архитекторами DWH, администраторами БД PostgreSQL, владельцами продуктов (Product Owners) и аналитиками.
- AI-native: опыт проектирования с использованием ИИ-инструментов (LLM, промт-инжиниринг, GIT с агенты).
Требования:
- Java: уверенное владение Core, понимание многопоточности и принципов эффективной работы со стримами. Опыт промышленной разработки от 2 лет.
- Apache Spark: опыт разработки приложений на фреймворке Spark. Глубокое понимание архитектуры (драйверы, исполнители), управления памятью. Умение читать планы выполнения запросов (Explain plan).
- Apache Kafka: практический опыт настройки продюсеров и консьюмеров, идемпотентности и распределенных коммитов оффсетов.
- Базы данных и SQL: хороший уровень написания SQL (оконные функции, CTE, рекурсивные запросы). Опыт оптимизации тяжелых запросов через анализ планов исполнения. Желателен опыт работы с СУБД, Hive, Greenplum (приветствуется).
- Инструменты CI/CD и версионирования: Git (умение работать с ветками, разрешать конфликты, писать понятные мерж-реквесты), Maven, Docker. Базовое понимание Jenkins/GitLab CI для автоматизации сборки артефактов.
- Форматы данных: хорошее понимание Avro (схема-на-лету, эволюция схем), Parquet (колоночное хранение, predicate pushdown).
- Легаси и миграция: опыт анализа чужого кода на PL/SQL; умение проектировать мэппинг полей между старой и новой моделями.
Условия:
- Гибридный формат работы.
- Работа в аккредитованной ИТ-компании.
- Проекты в крупнейших банках и корпорациях — реальная нагрузка и масштаб (mission-critical системы, высоконагруженная обработка данных).
- Регулярное обучение и профильные конференции за счёт компании, современное оборудование.
- Официальная «белая» зарплата, оформление с первого рабочего дня, полное соблюдение ТК РФ.
- Интересные амбициозные задачи с достижимым результатом.
Зарплата: до 200 000 ₽ за месяц до вычета налогов.
Инструменты в вакансии
Навыки и технологии
Направления