Скрипт обходящий редирректы, получающий html код страницы

Задание закрыто
Стоимость:4 000 рублей
Срок выполнения:3 дня
Варианты оплаты:Без предоплаты
Дата публикации:2016-10-31 09:23
Был(а) на сайте:2021-02-15 16:53

Скрипт обходящий редирректы, получающий html код страницы

 
Задача

Есть скрипт на Node.js который раньше брал URL из базы, шел по этому URL через прокси, выгружал оттуда html код, разбирал его, и делал с ним свои дальнейшие дела. Сейчас возникла проблема - на той стороне включили блокировку ботов. Теперь система при подозрении на бота гонит через кучу каких-то редирректов, и в итоге должна на страничку, но мы так и не смогли справиться с тем, что бы пройти на ту целевую страничку.
конкретный пример: http://mikou0628.tw.taobao.com/i/asynSearch.htm?mid=w..
Если пойти через какие-нибудь прокси - легко посылает в редирректы.
Нужен скрипт обходящий эти редирректы и получающий в итоге html код страницы. Так же должен иметь возможность использовать прокси. И обработку ошибки при недоступности и проблеме прокси сервера.

Оставлять заявки могут только авторизованные пользователи.
Заявок нет

Оставлять заявки могут только авторизованные пользователи.

Другие открытые задания:

Тестовое задание: модуль `factory_bridge` (Drupal + SQLite)800 р.

Бюджет: 800 р. ## 1. О проекте и мотивации Мы переносим производственную систему учёта (изделия, операции, рабочее время) на **Drupal**. Сейчас данные хранятся во внешней **SQ…

Платформа автоматизации онлайн-школ на базе Telegram-бота30 000 р.

Бюджет: 30 000 р. ## Цель выполнения Работ Создание цифровой платформы на базе Telegram-бота для онлайн-школ, обеспечивающей комплексную автоматизацию взаимодействия между школьни…

Ответить на требование от осфр1 000 р.

Бюджет: 1 000 р. Пришло Требование о представлении необходимых пояснений или внесении соответствующих исправлений Нужно ответить на него

поиск заданий