Парсинг сайтов и маркетплейсов на Python

Описание

Заказчику нужно было регулярно собирать данные с интернет-магазинов и маркетплейсов — карточки товаров, цены, характеристики — в удобном формате.

Решение

Написал асинхронный парсер на Python: ротация прокси, обход ограничений и защит сайта, нормализация и дедупликация данных. Вывод в CSV, XLSX, JSON и в базу данных.

Результат

Стабильный сбор сотен тысяч записей с инкрементальными обновлениями без дублей. Данные приходят готовыми к использованию, без ручного вмешательства.

Презентация проекта