Ксения Фролова › XenMagik
Рейтинг
176
№ 8 349 в каталоге
Отзывы
0
Профессионализм
-/10
Коммуникация
- /10
Город
Москва
Опыт работы
4 года
На сайте с
2026 года
Юридический статус
Частное лицо

Komus.ru Parser: Selenium-парсер с обходом Cloudflare для сбора данных о товарах

Используемые навыки Cloudflare Python Selenium Webdriver

Описание

Заказчику требовалось автоматически получать актуальные данные о товарах с сайта Komus.ru (название, артикул, цена, наличие) через защищённый API-эндпоинт. Основная сложность — ресурс защищён Cloudflare, который блокирует стандартные запросы и детектирует автоматизацию. Задача: создать стабильный инструмент, который обходит защиту, извлекает чистые JSON-данные по коду товара и сохраняет их для дальнейшей интеграции с учётом, аналитикой или прайс-агрегаторами.

Решение

• Реализовала парсер на Python + Selenium с эмуляцией реального браузера: ротация user-agent, отключение флагов автоматизации, маскировка navigator.webdriver.
• Настроила динамическое ожидание для прохождения проверок Cloudflare.
• Добавила обработку ошибок: при неудаче сохраняется HTML-снапшот страницы для отладки, предусмотрен fallback-режим с видимым браузером для ручного контроля.
• Реализовала парсинг и валидацию JSON-ответа, извлечение ключевых полей товара и сохранение в структурированный JSON-файл.
• Обеспечила гибкость запуска: режим headless для продакшена и видимый режим для отладки, автоустановка драйвера через webdriver-manager.

Результат

Инструмент стабильно извлекает данные о товарах даже при активной защите Cloudflare, минимизируя ложные срабатывания и блокировки. Полученные JSON-данные готовы к импорту в 1С, CRM-системы, прайс-менеджеры или аналитические дашборды. Архитектура модульная: легко адаптировать под другие эндпоинты Komus или аналогичные защищённые сайты. При необходимости можно масштабировать решение для пакетного парсинга каталога с очередью задач и логированием.

Оценили проект:

Другие проекты

Все проекты →
Веб-разработка и IT VoiceNote AI: Диктофон с локальной транскрибацией, умным поиском и авто-тегированием
VoiceNote AI: Диктофон с локальной транскрибацией, умным поиском и авто-тегированием
174
Веб-разработка и IT Facebook Profile Parser: Модульный парсер с обходом защиты и динамическим сбором данных
Facebook Profile Parser: Модульный парсер с обходом защиты и динамическим сбором данных
105
Веб-разработка и IT Ozon Bank History Parser: Автоматический сбор и фильтрация входящих переводов
Ozon Bank History Parser: Автоматический сбор и фильтрация входящих переводов
209
Веб-разработка и IT PriceWatch Engine: Мониторинг цен конкурентов с AI-прогнозом и Telegram-алертами
PriceWatch Engine: Мониторинг цен конкурентов с AI-прогнозом и Telegram-алертами
127