Платформа удалённого запуска парсеров

Используемые навыки Python

Описание

Задача — превратить набор парсеров в управляемую платформу: запускать сбор данных удалённо, распределять ресурсы браузера и прокси, контролировать выполнение и возвращать результаты в удобном формате.

Решение

Самостоятельно разработал Flask-платформу для запуска парсеров карт, объявлений недвижимости и аналитических источников. Использовал отдельные process pools, пул браузерных сессий и прокси. Для карт ускорил сбор через перехват сетевых запросов. Результаты отправляются в Telegram, Excel и Google Sheets.

Результат

Получился сервисный контур, в котором парсеры запускаются и контролируются как отдельные задачи, а не как ручные скрипты. Количественные показатели производительности и production-нагрузка в исходных данных не зафиксированы.