Инженер данных ClickHouse Airflow Python

Инженер данных в ГБУ МО «МИАЦ» (Медицинский информационно-аналитический центр), подведомственная организация Министерства здравоохранения Московской области. Центр обеспечивает сбор, обработку и анализ медицинских данных, внедряет и сопровождает региональные информационные системы в сфере здравоохранения.

Отдел переводит работу с ручных выгрузок на региональное аналитическое хранилище медицинских данных (сотни таблиц, крупнейшие — сотни миллионов строк) и ИИ-агента, которым пользуются аналитики министерства и медицинских организаций.

Чем предстоит заниматься:

• Разрабатывать витрины регионального аналитического хранилища медицинских данных на ClickHouse: изучать данные источников (ЕМИАС, скорая помощь, льготное лекарственное обеспечение и др.), собирать витрины, описывать их колонки.
• Разрабатывать и сопровождать загрузку данных в хранилище на Apache Airflow: инкрементальная загрузка из MS SQL Server (Change Tracking) и PostgreSQL, снимки таблиц, контроль свежести данных.
• Переводить регулярные ручные выгрузки отдела (десятки повторяющихся задач) на автоматические расчёты по расписанию со сверкой с результатами прежних скриптов.
• Обеспечивать качество данных: сверять хранилище с источниками по медицинским организациям, проводить аудит слоёв хранилища, выявлять и устранять расхождения.
• Участвовать в развитии ИИ-агента «Оперативная аналитика» (вопрос на русском языке → SQL-запрос к хранилищу → ответ): утверждённые определения показателей, инструменты агента, проверка ответов на реальных вопросах аналитиков.
• Наставлять студентов-стажёров отдела и проводить ревью их кода.

Что ждут от кандидата:

• Высшее техническое или математическое образование (прикладная математика и информатика, информатика и вычислительная техника, программная инженерия, прикладная информатика, статистика и анализ данных) либо профессиональная переподготовка по направлению «Анализ данных» или «Инженерия данных».
• Опыт работы от 1 года.
• Уверенное знание SQL: оконные функции, CTE, оптимизация запросов, чтение плана выполнения.
• Опыт работы с таблицами объёмом в сотни миллионов строк.
• Опыт работы с аналитической СУБД (ClickHouse, Greenplum, Vertica, BigQuery и т. п.) либо готовность освоить ClickHouse в течение трёх месяцев при сильном знании SQL.
• Python для работы с данными: pandas, работа с базами данных из кода, автотесты (pytest); аккуратный код в git.
• Linux на уровне уверенного пользователя; Docker — запуск контейнеров и чтение docker-compose.
• Привычка проверять результат на данных и документировать его на русском языке.
• Ответственное отношение к персональным данным, готовность работать в закрытом контуре сети.

Будет преимуществом:

• Apache Airflow или другой оркестратор.
• MS SQL Server (T-SQL), PostgreSQL.
• LangChain / LangGraph, работа с LLM через OpenAI-совместимый API, FastAPI.
• Опыт работы с ИИ-ассистентами разработки.
• Медицинская информатика, ЕМИАС, ОМС.

Условия:

• Официальное оформление по ТК РФ.
• Испытательный срок — 3 месяца.
• Полный рабочий день.
• График работы: Пн–Чт 9:00–18:00, Пт 9:00–16:45.
• Формат работы: на месте работодателя, бизнес-центр класса А «Кубик», м. Мякинино, 7–10 минут пешком.
• Доход месячный средний по году (с учётом системы премирования) — 200 000 руб. до вычета налогов.