Скрипт обходящий редирректы, получающий html код страницы

Задание закрыто
Стоимость:4 000 рублей
Срок выполнения:3 дня
Варианты оплаты:Без предоплаты
Дата публикации:2016-10-31 09:23
Был(а) на сайте:2021-02-15 16:53

Скрипт обходящий редирректы, получающий html код страницы

 
Задача

Есть скрипт на Node.js который раньше брал URL из базы, шел по этому URL через прокси, выгружал оттуда html код, разбирал его, и делал с ним свои дальнейшие дела. Сейчас возникла проблема - на той стороне включили блокировку ботов. Теперь система при подозрении на бота гонит через кучу каких-то редирректов, и в итоге должна на страничку, но мы так и не смогли справиться с тем, что бы пройти на ту целевую страничку.
конкретный пример: http://mikou0628.tw.taobao.com/i/asynSearch.htm?mid=w..
Если пойти через какие-нибудь прокси - легко посылает в редирректы.
Нужен скрипт обходящий эти редирректы и получающий в итоге html код страницы. Так же должен иметь возможность использовать прокси. И обработку ошибки при недоступности и проблеме прокси сервера.

Оставлять заявки могут только авторизованные пользователи.
Заявок нет

Оставлять заявки могут только авторизованные пользователи.

Другие открытые задания:

Разработать раздел "КЖ" (фундамент) для жилого двухэтажного дома.30 000 р.

Бюджет: 30 000 р. Необходимо разработать раздел "КЖ" (фундамент) для строительства двухэтажного загородного жилого дома. Пятно застройки 500 м. Состав КЖ: 1. Общие данны…

  • 15.05.24
  • Ответов: 8
  • Просмотров: 45
  • Заключение договора

Создать интернет-магазин цветов на WordPress60 000 р.

Бюджет: 60 000 р. Сейчас стоит задача создать классный интернет-магазин в сегменте средней/премиум+. Что мне нужно от сайта: Создать каталог и структуру сайта. Будет около 10 ос…

Бизнес ассистент / Строительство ИЖС15 000 р.

Бюджет: 15 000 р. #ищу #ассистент Ищу личного ассистента для взаимовыгодного сотрудничества Меня зовут Сергей Тимофеев, я руководитель строительной компании в Москве и области. Мы…

поиск заданий