Парсер магазинов запчастей

Описание

Заказчик – оптовый продавец автомобильных деталей и узлов. Для поддержания актуальной стоимости потребовалось автоматизировать сравнение цен с конкурентами. В ходе разработки парсера был выполнен механизм авторизации пользователя на сайте. Парсинг выполняется только в случае успешной авторизации пользователя, так как неавторизованному пользователю цены на сайте недоступны. После авторизации пользователь может создать новую сессию парсинга, загрузив файл формата xlsx со списком интересующих артикулов или брендов и выбрав парсер из списка доступных парсеров. Для каждой сессии парсинга создается отдельная фоновая задача в очереди задач. После завершения задачи парсинга создается результирующий файл в формате xlsx для каждого парсера в сессии парсинга. Входящий и результирующие файлы для сессии хранятся на сервере и могут быть скачаны пользователем в любой момент.
Технологии: PostgreSQL, Python, FastAPI, ORM ormar, Jinja2, Сelery, Scrapy.

Презентация проекта