Распределённый парсер Avito

Описание

Для регулярного сбора объявлений Avito был нужен устойчивый контур, который не блокирует API на время обхода страниц и позволяет независимо масштабировать исполнителей. Я реализовал FastAPI-сервис постановки задач, очередь Celery через Redis и пул Selenium workers. Задание получает параметры поиска, попадает в очередь, назначается свободному исполнителю, использует доступный proxy и после завершения сохраняет результат, доступный по идентификатору задачи. Для эксплуатации добавлены health-проверки API, Redis и workers, а Flower показывает очереди, активные процессы и состояние кластера. В портфолио использованы реальные экраны Swagger, health endpoint и Flower, дополненные схемой фактического движения задания. Моя роль: архитектура распределённого решения, API, фоновые задачи, управление proxy pool, контейнеризация и наблюдаемость. Такой подход отделяет приём запросов от тяжёлого браузерного сбора и упрощает горизонтальное масштабирование.

Презентация проекта