Парсинг сайтов и мониторинг на двух примерах: цены конкурентов для магазина электротоваров и новые документы с сайтов ведомств.
Задача в обоих случаях одна: не обходить сайты руками, а видеть только то, что изменилось. Менеджер магазина сверяет цены вручную и всё равно сравнивает цену за штуку с ценой за коробку. Юрист узнаёт о новом приказе из чужой рассылки.
Названия магазинов на снимках изменены.
«Срез» — мониторинг цен для магазина электротоваров. Сервис собирает цены и наличие у трёх конкурентов, сопоставляет товары по заводскому артикулу и приводит цены к рублям за штуку: цена за коробку в сто штук не выдаётся за цену одной. Свой прайс загружается из Excel или CSV. В обзоре — где вы дороже рынка на 10 % и больше, в карточке товара — все предложения со ссылками, наличием, минимальным заказом и датой цены; устаревшая цена в сравнение не попадает. Утром приходит сводка в Telegram, решение о цене остаётся за человеком.
DocMonitor — новые документы с сайтов Минтруда, МЧС и Минздрава: по расписанию проверяет разделы (RSS, Atom и HTML-списки), скачивает PDF, DOCX и XLSX и не создаёт дублей. О том, что подходит под ваши фильтры, сообщает в Telegram или MAX. У каждого документа карточка: реквизиты, первоисточник, файлы, статус и заметка. Недоступный сайт виден в журнале как ошибка, а не как пустой список.
Сбор аккуратный: с паузами и по правилам сайта. Если сайт источника изменится — доработаю.
Стек: Python, C++ и Qt, PostgreSQL, React; у «Среза» больше 600 автотестов.
Два работающих инструмента: веб-сервис с историей цен и программа с базой документов.
Что получает заказчик: сбор со своих источников — интернет-магазины, каталоги поставщиков, реестры, тендеры; Wildberries и Ozon — через официальный API продавца; результат в Excel, Google Таблицах, базе или сообщением в MAX и Telegram; собственную разработку, код и данные у себя.
В оформлении обложки использованы изображения, созданные нейросетью; экраны на снимках — из самих проектов.