Парсер сайта, на котором стоит cloudfare

Задание закрыто
Стоимость:Договорная
Срок выполнения:1 день
Варианты оплаты:Без предоплаты
Дата публикации:2021-12-30 16:56
Был(а) на сайте:2024-07-09 11:57

Парсер сайта, на котором стоит cloudfare

 
Задача

Нужно сделать парсер, с защитой от cloudfare.

Обязателен опыт работы именно с этим. Попрошу дать ссылки на парсенные сайты, где он также используется.

Подробности в переписке.

Оставлять заявки могут только авторизованные пользователи.
techmanage - Александр
Специализация: Программирование и IT
  • 6 000 руб1 день
Здравствуйте. Парсинг 1 набора данных: от 1500. При наличии форм авторизации, обфусцированного кода, зашифрованных асинхронных запросов - дороже. Как правило, стоимость создания сборщика с одного ресурса достигает, в среднем, 4000~6000, не включая импорт. Сложность каждого источника оценивается индивидуально.
PHP_CLI, на выходе - CSV или JSON.

Пример источника, оснащённого Cloudflare: 1a.lv

Я не предложу обход проверки Cloudflare, поскольку речь идёт о дорогой и неэффективной работе: интерфейс проверки пользователя регулярно обновляется, изменение интерфейса гарантийным случаем не считается - таким образом, заказчик волен вложить средства в бесполезное производство обхода проверки, который устареет в течение месяца.

Вместо этого я предлагаю предпусковое хранение в текстовике заголовков браузера, прошедшего "механизм проверки" - делается в два клика, позволяет беспроблемно провести работу граббера.

Дополнительные пожелания - 800 р/час. Условия работы - в профиле.

Оставлять заявки могут только авторизованные пользователи.