Скрипт обходящий редирректы, получающий html код страницы

Задание закрыто
Стоимость:4 000 рублей
Срок выполнения:3 дня
Варианты оплаты:Без предоплаты
Дата публикации:2016-10-31 09:23
Был(а) на сайте:2021-02-15 16:53

Скрипт обходящий редирректы, получающий html код страницы

 
Задача

Есть скрипт на Node.js который раньше брал URL из базы, шел по этому URL через прокси, выгружал оттуда html код, разбирал его, и делал с ним свои дальнейшие дела. Сейчас возникла проблема - на той стороне включили блокировку ботов. Теперь система при подозрении на бота гонит через кучу каких-то редирректов, и в итоге должна на страничку, но мы так и не смогли справиться с тем, что бы пройти на ту целевую страничку.
конкретный пример: http://mikou0628.tw.taobao.com/i/asynSearch.htm?mid=w..
Если пойти через какие-нибудь прокси - легко посылает в редирректы.
Нужен скрипт обходящий эти редирректы и получающий в итоге html код страницы. Так же должен иметь возможность использовать прокси. И обработку ошибки при недоступности и проблеме прокси сервера.

Оставлять заявки могут только авторизованные пользователи.
Заявок нет

Оставлять заявки могут только авторизованные пользователи.

Другие открытые задания:

Разослать 1000 сообщений по ватсап вручную1 000 р.

Бюджет: 1 000 р. Здравствуйте. Нужен человек который сможет отправить через свой ватсап 1000 сообщений и собрать ответы. База наших клиентов. Оплачиваем за каждый чат и за переданны…

Сверстать имеющийся дизайн26 000 р.

Бюджет: 26 000 р. Есть дизайн в фигме, ищу хорошую верстальщицу/верстальщика.

Нужен помошник30 000 р.

Бюджет: 30 000 р. Добрый день! Мне требуется помощник онлайн! Предложения с сопроводительным письмом о себе рассмотрю с приоритетом! Обязательные требования к вам: Наличие комп…

поиск заданий