Парсер ЦИАН: сбор 9 699 агентов за 1 день

Описание

Клиенту нужна была актуальная база риэлторов с ЦИАН.

Требования:
— ФИО, телефоны, email, агентства, регионы
— Обойти защиту (rate limits, JS)
— Экспорт в Excel
— Срок: 1 день

Решение

Асинхронный парсер Python:
1. Playwright для JS
2. Asyncio до 50 параллельных
3. Ротация задержек
4. Дедупликация
5. Excel экспорт

Стек: Python, Playwright, asyncio, pandas

Результат

9 699 агентов за 1 день.
Отзыв: «Всё хорошо и быстро»
Парсер передан клиенту.

Презентация проекта