Агрегатор товаров с маркетплейсов

Описание

Задача от клиента:

Разработка мультиплатформенного парсера-агрегатора товаров для автоматизации сбора актуальных цен и наличия продукции с ведущих маркетплейсов России.

Ключевые цели:

Сравнительный анализ цен - получение данных о стоимости идентичных товаров на Ozon, Wildberries и Яндекс Маркете в режиме реального времени для выявления наиболее выгодных предложений

Оптимизация закупок - автоматизация мониторинга ценовой политики конкурентов и динамики рынка для принятия обоснованных решений о закупках и ценообразовании

Экономия временных ресурсов - устранение необходимости ручного сбора информации с различных площадок, сокращение времени на анализ рыночной ситуации с нескольких часов до минут

Повышение конкурентоспособности - оперативное реагирование на изменения цен конкурентов для сохранения конкурентных преимуществ на динамичном рынке электронной коммерции

Технические требования:

Параллельный сбор данных с трех платформ

Автоматическое обновление информации

Удобный интерфейс для анализа результатов

Стабильная работа при высокой нагрузке

Обход систем защиты от парсинга

Целевой результат: Инструмент для ежедневного мониторинга рыночных цен, позволяющий принимать стратегические решения на основе актуальных данных с экономией времени до 90% по сравнению с ручными методами анализа.

Решение

Для реализации мультиплатформенного парсера была разработана серверная архитектура на FastAPI, обеспечивающая REST API для взаимодействия с клиентской частью и управления процессами парсинга.

Ключевые действия:

Реализован модуль парсинга на Selenium с автоматизацией браузера Chrome в headless-режиме для обхода антибот-систем маркетплейсов. Для каждого магазина созданы специализированные парсеры с уникальными селекторами и логикой обработки данных.

Внедрена многопроцессорная архитектура через ProcessPoolExecutor, позволяющая параллельно запускать парсеры для всех трех маркетплейсов одновременно. Это сократило общее время выполнения с потенциальных 45+ секунд до стабильных 17-20 секунд.

Разработана система кеширования результатов в памяти сервера с хешированием запросов, предотвращающая повторный парсинг идентичных поисковых запросов в течение сессии.

Создан веб-интерфейс с прогрессивной загрузкой, отображающий статус выполнения парсинга в реальном времени. Реализованы два режима отображения результатов (сетка и таблица) с сортировкой по цене.

Интегрирована обработка ошибок и механизм fallback-данных для обеспечения стабильности работы при временной недоступности отдельных маркетплейсов или блокировках.

Технологический стек:

Backend: FastAPI для API и шаблонизации

Парсинг: Selenium с WebDriver Manager

Многозадачность: ProcessPoolExecutor

Клиентская часть: чистый JavaScript с SessionStorage

Стилизация: адаптивный CSS

Решение демонстрирует стабильную работу со средним временем отклика 17 секунд при парсинге трех маркетплейсов одновременно.

Результат

Разработан полнофункциональный парсер-агрегатор, способный одновременно обрабатывать запросы на трех ведущих маркетплейсах России со средним временем выполнения 17 секунд.

Ключевые достижения:

Эффективность - система находит и анализирует до 45 товаров одновременно с Ozon, Wildberries и Яндекс Маркета, предоставляя сравнительную таблицу цен с сортировкой от самых дешевых к дорогим.

Стабильность - благодаря многопроцессорной архитектуре и изолированным сессиям Selenium, парсер устойчив к падениям отдельных компонентов и продолжает работу даже при временной недоступности одного из маркетплейсов.

Удобство использования - интуитивный веб-интерфейс с прогрессивной загрузкой позволяет пользователям видеть процесс поиска в реальном времени, а гибкие настройки отображения (сетка/таблица) адаптируют результат под конкретные задачи.

Практическое применение:

Система уже используется для ежедневного мониторинга ценовой конкуренции на рынке электроники и бытовой техники. Менеджеры по закупкам применяют полученные данные для:

Выявления наиболее выгодных поставщиков

Корректировки закупочных цен

Формирования конкурентного ценообразования

Анализа ценовой политики конкурентов

Экономический эффект составляет до 90% экономии времени по сравнению с ручным мониторингом и позволяет оперативно реагировать на рыночные изменения, сохраняя конкурентные преимущества в динамичной среде электронной коммерции.

Инструмент доказал свою эффективность в реальных условиях и готов к масштабированию на дополнительные маркетплейсы и категории товаров.

Ссылки на примеры реализации

 github.com/CoolNickname68/PriceScout

Презентация проекта