Парсер сайта федресурс (Лизинг)

Описание

Парсер собирает информацию с сайта Федресурс по договорам лизинга. Учитываются заключенные, измененнные и прекращенные договоры, а также список их объетов (объекты лизинга). Может работать в нескольких режимах: 1) Парсинг карточек по заданному диапазону; 2) Парсинг карточек по списку номеров карточек из файла; 3) Парсинг карточек по списку ИНН из файла по заданному отрезку времени; 4) Парсинг карточек по заданному отрезку времени. Полученная информация записывается в БД. Парсер написан на языке программирования python 3.12 с использованием базы данных MySQL (движок MariaDB). Используемый стек: asyncio, aiohttp, aiomysql, proxy. Парсер работает в асинхронном режиме и при достаточном количестве качественных прокси обрабатывает порядка 100 000 карточек за 6 часов. Логика парсера: на вход подается диапазон номеров карточек, или файлы с номерами карточек/ИНН (кладутся в папку). В отдельные таблицы собирается информация по лизингодателям и лизингополучателям. Парсер работает с использованием массива прокси. На каждый запрос к сайту берется новый прокси из массива, тем самым достигается большая скорость обработки данных. Полученную информацию парсер может выводить в талицу (CSV или excel). Парсер может работать как на локальной машине, так и на удаленном сервере под управлением Linux. Парсер может работать и на Windows.

Презентация проекта