Нужны цены конкурентов, каталоги поставщиков, контакты — регулярно
и без ручного копирования. Задача: знать рынок по факту, а не по памяти.
Собираю только открытые данные: цены, каталоги, публичные страницы.
Персональные данные и обход защиты не мой профиль, такое отклоняю.
Парсер на Python + Playwright, ставится на расписание: раз в сутки
или раз в час собирает свежие цены и присылает файл в Telegram
или на почту.
Отдельно — сравнение выгрузок: что подорожало, что пропало из наличия,
что появилось нового.
Скорость ограничиваю специально: источник не должен получить нагрузку,
из-за которой нас заблокируют по адресу.
Если на сайте стоит защита от автоматического сбора или данные
подгружаются скриптами — говорю об этом до начала работы и предлагаю
решение. Не выясняю в процессе.
Стек: Python, Playwright, выгрузка в Excel и Google Таблицы, запуск
по расписанию, Docker.
На выходе таблица Excel: название, цена, наличие, категория, ссылка.
Состав колонок согласуем до старта, чтобы файл сразу лёг в вашу
систему. Можно выгружать в Google Таблицы или сразу в базу.
Проверить можно до заказа: демо на titov-ai.ru/parser — нажимаете
кнопку, парсер прямо сейчас обходит каталог и отдаёт таблицу.
Замер на живом сервере: 100 позиций за 4 секунды. Не скриншот
и не видео.
Когда парсер не нужен: если данные нужны один раз и их сто строк —
быстрее скопировать руками. Окупается на регулярности или объёме.