Андрей Гринченко › seikacu
Автоматизирую бизнес – код работает, вы зарабатываете
Рейтинг
79
№ 33 287 в каталоге
Отзывы
0
Профессионализм
-/10
Коммуникация
- /10
Опыт работы
15 лет
На сайте с
2023 года
Юридический статус
Самозанятый

Парсер ресруса ФГИС "Единый реестр проверок"

Используемые навыки Python

Описание

Парсер по заданному диапазону дат (период проведения) собирает всю доступную информацию по контрольно надзорным меропрятиям (КНМ) с сайта proverki.gov.ru (не только по списку, но и заходя в каждую карточку с детальной информацией) и записывает ее в БД с последующей выгрузкой полученных данных в таблицу (CSV и excel). Получение данных с ресурса защищено капчей - парсер успешно обходит данную защиту. Парсер написан на языке программирования python 3.11 с использованием базы данных sqlite, что избавляет пользователя от рутинной установки и настройки сторонней БД. Используемый стек: asyncio, aiohttp, aiosqlite, json, tkinter, pandas, csv, proxy, twocaptcha. Парсер работает в асинхронном режиме и с использованием массива прокси. На каждый запрос к сайту берется новый прокси из массива, тем самым достигается большая скорость обработки данных. Парсер может работать как на локальной машине, так и на удаленном сервере под управлением Linux. Также парсер работает на Windows. Парсер имеет два интерфейса взаимодействия: графический и консольный. Для ускорения получения данных, можно запускать несколько экземпляров парсера, к примеру один экземпляр - один месяц проведения КНМ, т.к. парсер не требователен к ресурсам и не нагружает систему.

Оценили проект:

Другие проекты

Все проекты →
Веб-разработка и IT Парсинг данных с сайта bundestag
Парсинг данных с сайта bundestag
192
Веб-разработка и IT Автоматизация торговли на сайте lbank
Автоматизация торговли на сайте lbank
120
Веб-разработка и IT Парсер сайта объявлений
Парсер сайта объявлений
109
Веб-разработка и IT Парсинг данных с сайта recordpower (pdf)
Парсинг данных с сайта recordpower (pdf)
102