Backend-инженер Python, парсинг соцсетей и LLM

Компания собирает и классифицирует тренды в нишах по соцсетям. Система парсит контент площадок, размечает его по тематикам и форматам через LLM и отдает результат в контент-планы экспертов.

Сейчас модуль работает на сторонних платных сервисах, запускается вручную и считает нишу несколько дней из-за лимитов на выгрузку. Задача инженера — перевести его на собственные парсеры и автоматический запуск, расширить список площадок и снизить стоимость прогона до близкой к нулю.

Проект находится на стадии MVP. Первые эксперты должны начать пользоваться продуктом в августе 2026 года, первые клиенты ожидаются ориентировочно в сентябре. Бэклог на следующие 6–12 месяцев ещё формируется, поэтому задачи и приоритеты будут уточняться по мере тестирования продукта.

Задачи:

• Писать и поддерживать парсеры соцсетей: Instagram, TikTok, Threads, дальше Facebook, X и другие площадки.
• Уходить со сторонних платных сервисов на Apify и затем на собственные решения, контролируя стоимость прогона.
• Сделать автозапуск пайплайна: расписания, очереди, ретраи, мониторинг и оповещения о сбоях.
• Классифицировать контент через LLM: тематики, форматы, признаки тренда.
• Собирать и вести пайплайны обработки на LangGraph или LangChain.
• Сравнивать модели по качеству и цене и переводить разметку на более выгодную.
• Проектировать хранение и витрины данных, из которых собираются контент-планы.
• Держать систему живой при изменениях на стороне площадок.

Задачи приходят не как готовые технические задания, а как описание процесса и ожидаемого результата. Инженеру нужно самостоятельно уточнить ограничения, сравнить варианты реализации и выбрать решение, подходящее для текущего масштаба, а не для гипотетического.

Инженер будет работать напрямую с Product Manager и fullstack-инженерами платформы, которая потребляет данные трендвотчинга. CTO, отдельного архитектора и DevOps в команде пока нет, поэтому сотрудник должен самостоятельно принимать технические решения и доводить задачи до production.