Парсер по заданному диапазону дат (период проведения) собирает всю доступную информацию по контрольно надзорным меропрятиям (КНМ) с сайта proverki.gov.ru (не только по списку, но и заходя в каждую карточку с детальной информацией) и записывает ее в БД с последующей выгрузкой полученных данных в таблицу (CSV и excel). Получение данных с ресурса защищено капчей - парсер успешно обходит данную защиту. Парсер написан на языке программирования python 3.11 с использованием базы данных sqlite, что избавляет пользователя от рутинной установки и настройки сторонней БД. Используемый стек: asyncio, aiohttp, aiosqlite, json, tkinter, pandas, csv, proxy, twocaptcha. Парсер работает в асинхронном режиме и с использованием массива прокси. На каждый запрос к сайту берется новый прокси из массива, тем самым достигается большая скорость обработки данных. Парсер может работать как на локальной машине, так и на удаленном сервере под управлением Linux. Также парсер работает на Windows. Парсер имеет два интерфейса взаимодействия: графический и консольный. Для ускорения получения данных, можно запускать несколько экземпляров парсера, к примеру один экземпляр - один месяц проведения КНМ, т.к. парсер не требователен к ресурсам и не нагружает систему.
Пожаловаться
