Senior DevOps Hadoop инженер
Опыт работы: более 6 лет. Занятость: полная. График: 5/2, 8 рабочих часов. Формат: гибрид.
Проект: инновационная платформа на базе Hadoop с георезервированием для крупного российского банка. Платформа основана на Apache Ozone, совместима с Hadoop HDFS, решает проблему «маленьких файлов» в Hadoop, поддерживает доступ по протоколу S3 и обеспечивает сквозное шифрование данных.
Основная задача: участвовать в разработке высоконагруженных сервисов, интеграций и внутренних платформенных компонентов, работать с асинхронной архитектурой, очередями сообщений и обработкой больших объёмов данных.
Технологии проекта: Hadoop, Kubernetes, Helm, Docker, GIT, Jenkins/GitLab CI, Spark, HBase, Druid, Solr, Java, Python.
Чем предстоит заниматься:
- деплой кластера Hadoop и сервисов платформы: Spark, HBase, Druid, Solr;
- развертывание дополнительных узлов и настройка георезервированного режима работы;
- разработка конфигурационных файлов (xml, properties) по образцам команды, настройка compute, storage и network;
- участие в миграции без простоя: подготовка планов переключения, откат, мониторинг после запуска;
- автоматизация рутины через AI-инструменты кодинга (vibe coding): генерация и ревью конфигов, скриптов, SQL-запросов;
- ведение документации по миграции, поддержка промышленной эксплуатации.
Требования:
- опыт работы с Kubernetes 3 года: установка и поддержка приложений, Helm, базовый troubleshooting, понимание StatefulSet, ресурсов и хранилищ;
- уверенная работа с контейнерами (Docker/containerd): сборка образов, работа с volumes, сетями;
- опыт эксплуатации или администрирования сервисов экосистемы Hadoop/Big Data — Spark обязателен, плюс хотя бы 1–2 из: HBase, Druid, Solr, Celeborn, Gravitino;
- регулярная практика вайбкодинга: Copilot, Cursor или аналоги — умение генерировать код ИИ-ассистентом, проверять и доводить до рабочего;
- знание Java на уровне чтения и отладки кода — все контейнеризируемые сервисы (HBase, Druid, Solr, Gravitino) написаны на нём; Scala как плюс (Spark, Celeborn);
- знание Python или Bash для скриптов автоматизации;
- опыт администрирования Linux (предпочтение RHEL/CentOS) на уровне уверенного пользователя.
Будет плюсом:
- опыт работы с Big Data-инфраструктурой;
- опыт работы с Kubernetes;
- опыт highload-разработки.
Условия:
- работа в стабильной аккредитованной IT-компании с большой историей;
- официальное трудоустройство с первого дня, полностью белые деньги;
- гибридный формат в Москве в режиме 3/2 2/3, комфортный офис в районе метро «Тульская»;
- ДМС со стоматологией, возможность получения льготной ипотеки;
- обучение как внутри, так и вне компании, тренинги, корпоративные мероприятия;
- интересные и перспективные проекты, которые окажут прямое влияние на карьерный рост.