Описание

Разработан асинхронный парсер интернет-магазина на Python с использованием библиотеки BeautifulSoup для сбора информации о товарах (название, артикул, цена) с сайта. Парсер автоматически проходит по всем категориям, страницам и карточкам товаров. Парсер асинхронный, что позволяет быстро собирать большие объемы данных.

Решение

Использована библиотека BeautifulSoup для парсинга HTML.
Реализована асинхронность с помощью aiohttp и asyncio для ускорения сбора данных с карточек товаров.
Сначала собираются все категории и страницы через requests, затем происходит асинхронный обход карточек.
Для каждой карточки собирается название товара, артикул, цена, ссылка на карточку.

Результат

Собраны данные со всех товаров сайта в кратчайшие сроки благодаря асинхронности.
Парсер корректно обходит категории, страницы и карточки.
Вывод данных осуществляется в консоль (при необходимости можно легко адаптировать под сохранение в JSON, CSV или базу данных).
Код масштабируемый и готов к расширению: добавлению логирования, сбора дополнительных параметров, сохранению в БД.

Презентация проекта

Ссылки на примеры реализации