Парсинг сайтов и сбор данных в таблицу или базу
Собираю данные с сайтов в таблицу или базу - товары, цены, наличие, контакты, объявления, вакансии.
Что делаю:
Разбираю сайт и нахожу, откуда данные приходят на самом деле
Пишу сборщик под нужные поля - название, цена, наличие, ссылка, фото, что скажете
Обхожу пагинацию и подгрузку по скроллу, беру все страницы
Чищу результат - дубли, лишние пробелы, форматы цен и телефонов к одному виду
Выгрузка в Excel, CSV, Google Таблицу или сразу в базу
Запуск по расписанию - раз в час или раз в сутки, с дозаписью новых строк
Письмо об ошибке, если сайт поменялся и часть полей перестала приходить
На билетном проекте я забирал схему зала через внутренний JSON сайта - оттуда приходили настоящие секторы, места и цены.
Сбор из вёрстки там развалился бы на первом же обновлении дизайна.
Такой ход экономит и время сбора, и поддержку потом.
Стек - Python, requests и Playwright там где нужен живой браузер, выгрузка в xlsx или Google Sheets.
Скрипт отдаю Вам вместе с инструкцией по запуску.
3.000 - сбор с одного сайта, до 10 полей, выгрузка в таблицу, срок 3 дня.
Скажите какой сайт и какие поля нужны - посчитаю под Ваш объём.
