Data Engineer SQL Python

Компания ИТ Контакт с 2019 года создаёт цифровые платформы для упрощения процессов, снижения затрат и повышения безопасности сделок с жильём. Штат более 700 человек.

Формат работы: на месте работодателя, офис в центре Санкт-Петербурга. График 5/2, полная занятость, 8 рабочих часов в день.

Технологии: SQL, Python, Pandas, SQLAlchemy, Requests, MS SQL Server, Apache Airflow, Git, CI/CD, REST API, SFTP, Jira, Confluence, GitHub Copilot.

Требования к кандидату:

• Отличное владение SQL и практический опыт работы с MS SQL Server.
• Практический опыт работы с Apache Airflow или другим инструментом оркестрации и готовность быстро углубиться в Airflow.
• Уверенное владение Python для задач обработки и интеграции данных, включая Pandas, SQLAlchemy и Requests.
• Хорошее понимание архитектуры DWH, принципов организации слоёв хранения данных и построения Data Mart.
• Опыт разработки, сопровождения и рефакторинга ETL/ELT-процессов.
• Опыт интеграции данных из различных источников: SQL-баз, API, файлов и SFTP.
• Навыки оптимизации SQL-запросов и понимание принципов эффективной работы с базами данных.

Будет плюсом:

• Опыт переноса ETL-процессов, SQL Jobs или Python-скриптов в Airflow.
• Опыт работы с Git и понимание принципов version control.
• Понимание CI/CD применительно к data pipelines.
• Опыт работы с Jira и Confluence.
• Опыт использования LLM-инструментов, например GitHub Copilot, в процессе разработки.
• Опыт подготовки данных для аналитических систем или Power BI.
• Базовые навыки работы в Linux.

Задачи:

• Рефакторить существующие ETL-процессы и структуру базы данных, содержащей данные из Jira и Bitbucket.
• Разрабатывать и сопровождать ETL/ELT-пайплайны.
• Переносить ETL-процессы и трансформации из SQL Server Jobs в Apache Airflow.
• Переносить существующие Python-скрипты в управляемые пайплайны Apache Airflow.
• Настраивать интеграции с различными источниками данных, включая базы данных, API, файлы и SFTP.
• Оптимизировать SQL-запросы и повышать производительность процессов обработки данных.
• Участвовать в развитии DWH и создании слоя Data Mart.
• Подготавливать данные для аналитических задач и внутренних заказчиков.

Условия:

• Аккредитованная IT-компания.
• Комфортный офис в центре Санкт-Петербурга.
• Предсказуемый график работы 5/2.
• Мультикультурная амбициозная команда.
• Общение на иностранных языках с коллегами и клиентами.
• Внутреннее комьюнити для сотрудников: кафетерий льгот, сообщества по интересам, спортивные турниры, благотворительные программы.