Парсер объявлений с дашбордом: 32 города, 1,3 млн объектов, без банов

Используемые навыки Django PostgreSQL Python

Описание

Нужны данные с досок объявлений и порталов, которые закрыты антиботом, ограничивают частоту запросов и регулярно меняют разметку. Скрипт «на коленке» живёт до первого бана и падает молча — заказчик узнаёт об этом через неделю по пустым отчётам.

Решение

Собрал промышленный сбор данных: многопоточные парсеры через антибот-вендоров и headless-браузер с ротацией прокси, очереди задач, автоматическая дедупликация и обогащение адресов, дашборд со статистикой и логами по каждому потоку. Разметка изменилась — падает один парсер, а не весь сбор, и приходит уведомление. Стек: Python, Django, Celery, Node.js, Puppeteer, PostgreSQL.

Результат

Ежедневный сбор по 32 городам без банов, ~1,3 млн объектов в базе. Данные стали основой аналитики socol24.ru. Выгрузка в CRM, таблицы или базу заказчика — в нужном формате и по расписанию.