Data Engineer (Tableau, Python)
Particle41 ищет Data Engineer. В задачи входит проектирование, разработка и поддержка масштабируемых ETL/ELT-пайплайнов для обработки больших объёмов данных из различных источников; построение и оптимизация решений для хранения данных — озёр данных и хранилищ — для эффективного извлечения и обработки; интеграция структурированных и неструктурированных данных из внутренних и внешних систем в единое представление для анализа; обеспечение точности, согласованности и полноты данных через валидацию, очистку и преобразование; ведение понятной документации по процессам, инструментам и системам работы с данными.
В части визуализации данных: создание и поддержка дашбордов и отчётов Tableau, преобразующих сложные наборы данных в понятные визуализации для принятия решений; проектирование моделей данных и извлечений, оптимизированных для производительности Tableau, включая live-подключения и опубликованные источники данных; применение лучших практик визуализации данных — выбор графиков, компоновка, цвет и интерактивность — для получения готовых для клиента результатов; взаимодействие со стейкхолдерами для понимания потребностей в отчётности и преобразования их в визуальные решения; поддержка ad hoc анализа с использованием Tableau, построения графиков на Python (matplotlib, seaborn, plotly) или аналогичных инструментов.
Поддержка AI и данных: содействие AI/ML-процессам путём построения и поддержки пайплайнов данных, питающих обучение моделей, инференс и оценку; помощь в подготовке данных для проектов LLM и машинного обучения, включая feature engineering, пайплайны токенизации и интеграцию векторных хранилищ; помощь командам во внедрении AI-инструментов для работы с данными — копиолотов, интеллектуального поиска, автоматизированной отчётности — за счёт обеспечения доступности чистых, хорошо структурированных данных на входе; участие в prompt engineering и фреймворках оценки, где контекст данных является ключевым входом.
Сбор требований и анализ: работа с продакт-менеджерами и стейкхолдерами для сбора требований и их преобразования в технические решения; предоставление технического вклада на сессиях по требованиям для согласования возможностей данных с бизнес-потребностями.
Agile-разработка: участие в планировании спринтов, стендапах и обзорах спринтов; поставка решений в срок и в рамках объёма; адаптация при изменении приоритетов.
Тестирование и отладка: написание юнит- и интеграционных тестов для проверки надёжности пайплайнов и точности данных; выявление и устранение дефектов, узких мест производительности и проблем качества данных.
Непрерывное обучение: отслеживание актуальных облачных платформ (AWS, Azure, GCP) и новых инструментов data engineering; предложение решений для улучшения производительности, безопасности и масштабируемости.
Требования и опыт:
- Степень бакалавра в области компьютерных наук, инженерии или смежной области.
- Опыт работы Data Engineer от 3 лет.
- Уверенное владение Python.
- Опыт работы с SQL (MySQL, PostgreSQL) и NoSQL (MongoDB).
- Практический опыт работы с Tableau — разработка дашбордов, управление источниками данных и оптимизация производительности.
- Знакомство с принципами хранилищ данных и lakehouse; опыт с Databricks, Spark, PySpark и pandas.
- Опыт построения или поддержки ML/AI-пайплайнов данных, включая feature stores, векторные базы данных или инфраструктуру обслуживания моделей.
- Знакомство как минимум с одним облачным стеком данных (Azure, AWS или GCP).
- Рабочее знание ELK stack, Redis и распределённых очередей задач.
- Владение библиотеками Python, включая Flask, scikit-learn, requests, pytest и утилиты логирования.
- Комфортная работа в Linux и написание shell-скриптов.
- Знакомство с Git и совместными процессами разработки.
- Сильные коммуникативные навыки и способность работать в кросс-функциональных командах с техническими и нетехническими специалистами.
О компании: Particle41 придерживается ценностей ELITE: Empowering, Leadership, Innovation, Teamwork, Excellence. Компания предоставляет равные возможности трудоустройства всем сотрудникам и кандидатам; решения о найме и трудоустройстве принимаются на основе заслуг и квалификации без дискриминации по признаку расы, цвета кожи, религии, касты, возраста, пола, национального происхождения, инвалидности, генетики, статуса защищённого ветерана, сексуальной ориентации, гендерной идентичности или выражения, или любого другого признака.