Data Engineer Scala
Опыт работы: 3–6 лет. Занятость: полная. График: 5/2, 8 рабочих часов. Формат работы: на месте работодателя или гибрид.
Компания разрабатывает аналитические системы на базе единой платформы для безопасной работы с данными независимо от формата, метода хранения и эксплуатации. Платформа основана на концепции Infrastructure as Code (IAC) и состоит из независимых программных продуктов и сервисов на базе Scala и Kubernetes. Обеспечивает потоковую обработку и хранение данных, управление доступом и метаданными, контроль использования в периметре частных облачных сред.
Основные задачи:
- Реализация процессов загрузки данных на платформу из различных источников (s3, hdfs, samba, sftp) в различных форматах (csv, parquet, json, xml) в разные точки назначения (scylla, postgres, opensearch, clickhouse, nebula)
- Определение и согласование нефункциональных требований к процессам построения витрин
- Декомпозиция задач, оценка сроков выполнения
- Выполнение Code review и контроль правильности реализации принятых технических решений
- Участие в процессе автоматизации SDLC с помощью LLM
Технологический стек:
- Хранение и обработка данных: Scylla, S3, Kafka, Spark, Nifi, Airflow, PostgreSQL, Clickhouse, Opensearch
- Мониторинг и логирование: Grafana, Victoria Metrics, Prometheus
- Прочие технологии и фреймворки: Docker, Kubernetes (Openshift), Helmwave, ScalaTest, GitlabCI, Typelevel (Cats Effect, Circe, Doobie, Weaver)
Ожидания:
- Опыт работы по специальности от 3 лет
- Опыт разработки на Scala от 2 лет
- Знание особенностей реализации различных алгоритмов и структур данных
- Опыт работы в команде
Условия:
- Работа в офисе или в гибридном формате
- Комфортные офисы в Москве, Санкт-Петербурге и Нижнем Новгороде
- ДМС со стоматологией
- Корпоративные скидки в сети фитнес-клубов World Class
- Корпоративный тариф на абонементы FITMOST
- Программа корпоративных скидок Best Benefits
- Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги, шахматы)
- Курсы английского языка, в том числе с носителем языка
- Сообщества по интересам
- Внешние профессиональные курсы и конференции, сертифицированное обучение
- Профильные митапы
- Билеты со скидкой в Музей криптографии для сотрудников и их семей
- Корпоративные праздники
- Мерч