Парсер с дашбордом: ежедневный сбор данных без банов и выгрузка в CRM
Собираю данные с сайтов, которые закрыты антиботом, ограничивают частоту запросов и меняют разметку: маркетплейсы, доски объявлений, каталоги конкурентов, порталы, реестры.
Что входит:
— разбор источников и полей, оценка объёма и сложности до начала работ;
— парсер на Python с обходом антибота (вендорные прокси, headless-браузер), очередями и повторами;
— дедупликация, нормализация и обогащение данных — на выходе чистая таблица, а не «сырой» дамп;
— дашборд статуса: сколько собрано, где ошибки, что изменилось; уведомления при поломке;
— выгрузка туда, где вам удобно: Google-таблицы, CRM, база, API, файлы по расписанию;
— сопровождение: разметка меняется — чиню, а не бросаю.
В проде у меня такой сбор идёт по 32 городам, ~1,3 млн объектов, ежедневно и без банов. 50 000 ₽ и 10 дней — типовой парсер одного источника с дашбордом и выгрузкой.
- Ключевые слова:
- сайтов
- конкурентов
- парсинг
- антибот
- маркетплейсов
- мониторинг
- выгрузка
- таблицы
- python
- парсер
- данных
- сбор
- цен
