Парсер сайта объявлений

Описание

Парсер собирает данные с объявлений по категориям и выводит результат в csv файл. Парсер написан на языке python с использованием стека: Selenium, Beautiful Soup, Requests, Tkinter, PostgreSQL, asyncio, aiohttp, threading, ruCaptcha, proxy. Работает в нескольких режимах. Сначала выбирается категория, затем происходит сбор ссылок объявлений по заданной категории, затем идет сам сбор данных. В процессе сбора данных на сайте присутствует информация, которая скрыта за капчей, парсер решает ее, и записывает полученные данные в БД. Сбор данных осуществляется в 2- режимах: однопоточном и многопоточном (от 10 до 20 потоков), что ускоряет сбор данных. Сбор исходных данных (ссылок) также осуществляется в асинхронном многопоточном режиме до 30 потоков.

Презентация проекта