Senior GenAI-разработчик, Java

Команда Trust&Safety разрабатывает платформу для построения пайплайнов обработки данных в self-service формате. На базе этой платформы строятся высоконагруженные пайплайны обработки данных, которые ежедневно обрабатывают миллионы текстов и видео. Платформа позволяет применять ML-модели к контенту, агрегировать данные из разных источников и доставлять их потребителям с минимальной задержкой.

Задачи:

• Разработка пайплайнов обработки данных: создание и вывод в прод новых процессов обработки для поиска, модерации и рекомендаций.
• Интеграция с ML: внедрение готовых ML-моделей в пайплайны обработки данных.
• Оптимизация производительности: обеспечение минимальных задержек при доставке контента в сервисы дистрибуции.
• Работа с Big Data: обработка больших объёмов данных в батч-режиме и поточно (streaming).
• Архитектура: построение функциональности в новой платформе с учётом строгих нефункциональных требований.

Требования:

• Опыт промышленной разработки на Java 5+ лет.
• Опыт работы с распределёнными системами и базами данных (Postgres, YTsaurus будет плюсом).
• Понимание ограничений и возможностей распределённых и высоконагруженных систем, принятие решений с учётом данного контекста.
• Практический опыт в работе с метриками приложений — отправка метрик, построение дашбордов и алертов.
• Проактивность, умение работать в команде и решать сложные архитектурные задачи, закрывать задачу под ключ.

Будет плюсом:

• Навыки работы с Big Data: опыт обработки больших объёмов данных в батч-режиме и потоково.