Senior Data Engineer — дата-инженерия
Airbnb ищет Senior Data Engineer в команду Enterprise Core Datasets (Tech Foundations). Команда строит технические основы данных, которые помогают Airbnb понимать, как работает бизнес, куда инвестируются ресурсы и как новые технологии создают ценность. В зону ответственности входят наборы данных по измерению внедрения, использования и стоимости ИИ; юнит-экономика (выручка, затраты, прибыльность); интеграция неплатформенных данных из Jira и других корпоративных приложений; а также ключевые метрики компании, такие как Gross Booking Value и Revenue.
Задачи:
- Проектировать, строить и эксплуатировать высоконагруженные пайплайны данных для отслеживания использования и стоимости ИИ, юнит-экономики, корпоративных приложений и критических финансовых метрик.
- Совместно со стейкхолдерами уточнять методики измерения внедрения, потребления и затрат на ИИ и реализовывать согласованные модели данных.
- Развивать наборы данных юнит-экономики, связывая выручку с различными драйверами затрат, чтобы команды могли оценивать прибыльность продуктов и эффективность ресурсов.
- Строить надёжные пайплайны приёма и преобразования данных для неплатформенных систем, таких как Jira и другие корпоративные приложения BizTech.
- Переводить сложные требования в понятные контракты источников, переиспользуемые модели фактов и измерений и практичные технические решения.
- Разрабатывать настраиваемые пайплайны и общие компоненты, упрощающие подключение новых источников данных, продуктов и бизнес-требований.
- Внедрять автоматизированное тестирование, сверку, обнаружение аномалий и мониторинг для обеспечения точности, полноты и доступности данных.
- Планировать и выполнять безопасные миграции и исторические бэкфиллы с анализом зависимостей, валидацией, контролируемыми переключениями и планами восстановления.
- Оптимизировать распределённую обработку, хранение и производительность запросов для повышения свежести данных и снижения вычислительных затрат.
- Отвечать за надёжность своих наборов данных и пайплайнов в продакшене, включая дежурства, реагирование на инциденты и улучшение систем и runbook'ов.
- Участвовать в техническом планировании и ревью дизайна, наставлять инженеров и развивать общий путь Data Engineering в Airbnb.
Требования:
- 5+ лет релевантного опыта в индустрии.
- Степень бакалавра или магистра в области компьютерных наук, электротехники или смежной области, либо эквивалентный практический опыт.
- Подтверждённый опыт самостоятельной реализации сложных проектов по инженерии данных — от сбора требований и технического проектирования до внедрения и долгосрочной поддержки в продакшене.
- Глубокое знание SQL и навыки программирования на Python или Scala, опыт построения поддерживаемых и хорошо протестированных систем обработки данных.
- Практический опыт работы с распределёнными технологиями обработки, такими как Apache Spark, и крупномасштабными аналитическими системами хранения.
- Сильные навыки моделирования данных: проектирование фактов и измерений, медленно меняющиеся измерения, инкрементальная обработка и управление историческими данными.
- Опыт интеграции данных из корпоративных приложений (например, Jira) и других неплатформенных систем.