Middle/Senior Data Engineer на Golang
Data Engineer на Golang уровня Middle / Senior
О компании
Inca Digital — компания в области данных и аналитической разведки, специализирующаяся на аналитике цифровых активов для бирж, финансовых организаций, регуляторов и блокчейн-экосистем. Платформа объединяет структурированные и неструктурированные данные из блокчейнов, с бирж, из социальных сетей и финансовых рынков в единый аналитический движок. Работа полностью удалённая и асинхронная: минимум созвонов, решения принимаются на основе аргументов, а не иерархии.
О роли
Инженер создаёт и поддерживает данные, с которыми ежедневно работает команда расследований. Аналитики рассчитывают на надёжный и своевременный сбор, нормализацию и предоставление данных о блокчейн-транзакциях, биржевых потоках и данных из открытых источников — в виде, пригодном для анализа сразу, без предварительной очистки.
Задачи
- Проектировать, разрабатывать и сопровождать сквозные пакетные и инкрементальные ETL / ELT-пайплайны, превращая сырые данные в production-ready API, дашборды и автоматические оповещения.
- Обеспечивать высокопроизводительный сбор данных из разнородных источников: реляционных баз данных, сторонних и вендорских API, файлов, блокчейн-нод и индексаторов, а также текстовых данных из соцсетей и веба в больших объёмах.
- Разрабатывать NLP-пайплайны для работы с неструктурированными и полуструктурированными текстовыми данными: извлечение сущностей и утверждений, классификация, дедупликация и обогащение данных для последующих моделей оценки рисков.
- Поддерживать системы данных для управления кейсами, генерации отчётов и аналитического портала.
- Совместно с руководителем R&D, инженерами, data scientist'ами и командой расследований превращать аналитические требования в масштабируемые клиентские продукты.
- Участвовать в техническом проектировании и разработке архитектуры в рамках письменного, аргументированного процесса дизайна.
- Участвовать в повышении качества данных и сопровождении систем: версионирование, валидация, отслеживание происхождения данных (data lineage), сверка и мониторинг актуальности данных.
Требования
- Коммерческий опыт разработки backend-сервисов на GoLang от 3 лет.
- Уверенное знание основ Go, включая конкурентность, тестирование и т. д.
- Опыт работы с REST API и / или gRPC.
- Практический опыт работы в среде AWS.
- Опыт работы с системами обмена сообщениями: Kafka, RabbitMQ, SQS и т. п.
- Опыт работы с SQL-базами данных (например, PostgreSQL).
Условия
- Удалённая работа.
- Заработная плата: от 4 000 $ за месяц, на руки.
