Дата-инженер
Компания: Альфа банк Область и стек: Big Data/Data Engineering Зарплатная вилка: 150к-300к Формат работы: Удаленка Страна работы: РФ
Чем предстоит заниматься
- Подготовка данных для валидации: сбор выборок, целевых переменных (таргетов) и признаков из распределённых хранилищ данных
- Формирование и проверка SAMPLE, TARGET, FEATURES-наборов; проверка качества данных: дубликаты, пропуски, выбросы, смещение распределений
- Анализ датасетов на соответствие техническим и бизнес-требованиям
- Поддержка валидационных проектов: участие в валидации моделей разных продуктов (CLTV, Antifraud, CC, Corp MMB и др.)
- Поддержка различных веток валидации (с разной логикой сбора данных и таргетов)
Наши пожелания к кандидатам
- Опыт работы с SQL / Impala (написание сложных запросов, оптимизация)
- Опыт работы с Hadoop / Spark (работа с большими объёмами данных)
- Знание базовых статистических метрик для моделей (KS, PSI, GINI, AUC, IV)
- Опыт обработки и подготовки данных: pandas, PySpark
- Опыт работы с Jupyter Notebook
- Базовое понимание ML-моделей (классификация, регрессия, калибровка)
- Готовность работать с регуляторной документацией
