LemanaPro Parser — профессиональный парсер для автоматического сбора данных о товарах с lemanapro.ru. Реализован на FastAPI и Playwright с поддержкой обхода защиты Qrator. Ключевые возможности: - Автоматический сбор категорий и товаров в формате JSON - Обработка ценообразования, скидок, доступности, характеристик и фото - Обход Qrator (Cloudflare-like) с помощью Playwright и продвинутых заголовков - Поддержка работы через прокси для обхода блокировок - Повторные попытки при ошибках с экспоненциальной задержкой Управление через REST API: получение и обновление категорий/товаров, поиск по артикулу (SKU), фильтрация по категориям. Парсинг запускается вручную или по расписанию через встроенный планировщик. Данные автоматически обновляются и складываются в JSON.
FastAPI + Playwright для надёжного веб-скрапинга с обходом защиты Qrator. Прокси-ротация для обхода блокировок. Планировщик задач на Celery Beat. Retry-логика с экспоненциальной задержкой. Данные сохраняются в JSON для быстрого доступа.
- Разработка FastAPI-сервиса для парсинга с обходом защиты
- Реализация Playwright для эмуляции браузера
- Настройка работы через прокси и ротация IP
- Создание планировщика задач для автоматического парсинга
- Разработка REST API для управления парсингом
Автоматизация сбора 10,000+ товаров ежедневно. Успешный обход защиты Qrator в 98% случаев. Сокращение времени обновления каталога с 8 часов до 30 минут. Интеграция с внутренней системой аналитики.
Пожаловаться
