Ерем Шахбазян › Erem01 Сбер ID
Боты и сайты под ключ | Автоматизация| Интеграции с CRM
Рейтинг
12 731
№ 81 в каталоге
Отзывы
Профессионализм
9/10
Коммуникация
9 /10
Город
Москва
Опыт работы
5 лет
На сайте с
2025 года
Юридический статус
Самозанятый
Безопасная сделка
Деньги списываются после приёмки

Система парсинга данных с антидетектом и прокси для сбора информации с маркетплейсов

Используемые навыки PostgreSQL Python

Описание

Клиенту требовалась система для регулярного сбора данных с маркетплейсов и сайтов конкурентов: цены, наличие товаров, рейтинги и изменения ассортимента.

Основная сложность заключалась в том, что сайты активно защищались от парсинга: блокировали IP, отслеживали поведение пользователей и использовали антибот-системы.

Задача — разработать устойчивую систему парсинга, которая будет работать стабильно даже при высоких объемах запросов и обходить ограничения сайтов.

Решение

Я спроектировал и реализовал систему парсинга с использованием прокси и антидетект-подходов.

Что было сделано:

реализовал парсер на Python с гибкой архитектурой
внедрил ротацию прокси (HTTP/SOCKS) для обхода блокировок
настроил эмуляцию поведения пользователя (задержки, последовательности действий)
использовал антидетект-подходы (изменение fingerprint, user-agent, headers)
добавил обработку капчи и повторные попытки запросов
реализовал очередь задач для масштабируемости
организовал хранение данных в PostgreSQL

Также добавил систему логирования и мониторинга, чтобы отслеживать стабильность работы.

Результат

Система позволила клиенту получать актуальные данные без ручного сбора.

После внедрения:

сбор данных выполняется автоматически 24/7
устойчивость к блокировкам увеличилась в несколько раз
объем собираемых данных вырос в 5+ раз
клиент получил конкурентное преимущество за счёт актуальной аналитики

Теперь данные обновляются регулярно и используются для ценообразования, анализа рынка и принятия бизнес-решений.

Оценили проект:

Другие проекты

Все проекты →
Веб-разработка и IT Программа учёта KPI операторов АЗС: показатели смены, рейтинг, нарушения и автоматический расчёт премии вместо Excel
Программа учёта KPI операторов АЗС: показатели смены, рейтинг, нарушения и автоматический расчёт премии вместо Excel
103
Веб-разработка и IT Разработка корпоративного сайта и внутреннего каталога для компании, модернизирующей инженерные системы зданий.
Разработка корпоративного сайта и внутреннего каталога для компании, модернизирующей инженерные системы зданий.
263
Веб-разработка и IT Telegram-бот оценки разработки: смета и сроки по описанию задачи, черновик ТЗ в PDF и проверка сметы подрядчика
Telegram-бот оценки разработки: смета и сроки по описанию задачи, черновик ТЗ в PDF и проверка сметы подрядчика
200
Веб-разработка и IT Интернет-магазин в Telegram-боте: каталог, корзина, оформление с доставкой, оплата картой в Telegram и админка с заказами и выгрузкой в Excel
Интернет-магазин в Telegram-боте: каталог, корзина, оформление с доставкой, оплата картой в Telegram и админка с заказами и выгрузкой в Excel
86