Telegram-боты и мини-приложения, парсеры в Excel, ускорение сайт
- Город
- Санкт-Петербург
- На сайте с
- 2026 года
- Юридический статус
- Частное лицо
Обычная проблема заказчика при выборе исполнителя на парсинг: все обещают одинаково, а проверить нечего до оплаты. Поэтому вместо скриншотов я сделал страницу, где парсер запускается прямо при посетителе.
Нажимаете кнопку — сервер в реальном времени обходит каталог тренировочного сайта books.toscrape.com, заходит в каждую карточку за полями, которых нет в списке, показывает прогресс и первые двадцать строк, а затем отдаёт готовый файл Excel.
Сбор в несколько потоков через ThreadPoolExecutor, кэш результата на 10 минут, ограничение — не чаще одного запуска с адреса раз в 20 секунд. Реальный IP берётся из заголовка X-Forwarded-For, потому что приложение работает за nginx.
Файл xlsx собирается на стандартной библиотеке Python: zipfile плюс XML вручную. Ни одной внешней зависимости. На выходе два листа: «Каталог» с автофильтром и закреплённой шапкой и «Сводка» с количеством и ценами по категориям.
Источник в демо зашит намеренно, произвольный адрес страница не принимает — иначе её можно было бы использовать как чужой инструмент для сбора данных. Скорость ограничена сознательно: источник не должен получить нагрузку, из-за которой нас заблокируют.
В рабочих парсерах таких ограничений нет: обходим весь каталог, ставим сбор на расписание через systemd timer, пишем в базу с дедупликацией и историей цены и присылаем свежую выгрузку в Telegram или на почту.
На боевом сервере страница собирает 100 товаров из 29 категорий за 5,5 секунды и отдаёт корректный xlsx.
Проверить можно самостоятельно, ничего не заказывая: https://vvs35.ru/parser
Важная оговорка, которую я всегда проговариваю до старта: площадки с активной защитой вроде крупных досок объявлений я не беру. Там нужен обход блокировок, а такой парсер живёт недели и ломается после каждого обновления сайта. С региональными агрегаторами, сайтами производителей и выгрузками по XML-фидам всё работает годами.
