Скрипт обходящий редирректы, получающий html код страницы

Задание закрыто
Стоимость:4 000 рублей
Срок выполнения:3 дня
Варианты оплаты:Без предоплаты
Дата публикации:2016-10-31 09:23
Был(а) на сайте:2021-02-15 16:53

Скрипт обходящий редирректы, получающий html код страницы

 
Задача

Есть скрипт на Node.js который раньше брал URL из базы, шел по этому URL через прокси, выгружал оттуда html код, разбирал его, и делал с ним свои дальнейшие дела. Сейчас возникла проблема - на той стороне включили блокировку ботов. Теперь система при подозрении на бота гонит через кучу каких-то редирректов, и в итоге должна на страничку, но мы так и не смогли справиться с тем, что бы пройти на ту целевую страничку.
конкретный пример: http://mikou0628.tw.taobao.com/i/asynSearch.htm?mid=w..
Если пойти через какие-нибудь прокси - легко посылает в редирректы.
Нужен скрипт обходящий эти редирректы и получающий в итоге html код страницы. Так же должен иметь возможность использовать прокси. И обработку ошибки при недоступности и проблеме прокси сервера.

Оставлять заявки могут только авторизованные пользователи.
Заявок нет

Оставлять заявки могут только авторизованные пользователи.

Другие открытые задания:

Набор текста на компьютере (машинистка). Распечатка аудиозаписей. Печать текста с речи1 200 р.

Бюджет: 1 200 р. Приглашаем машинистку. Работа удаленная (из дома). Наличие компьютера (ноутбука). Выделенная линия интернет для скачивания аудио, видео (файлов) - бывают тяжелые по…

Курьер со свободным графиком80 000 р.

Бюджет: 80 000 р. Приглашаем курьеров к сотрудничеству! Мы — сервис доставки, работающий по Москве и Московской области, и сейчас открываем набор курьеров для выполнения заказов. …

Привлечение партнеров (без звонков)50 000 р.

Бюджет: 50 000 р. Всех приветствую кто ищет работу /подработку ! Эта работа удаленная , где вы сами выбираете сколько будете тратить на неё время (доход будет зависеть только от вас)…

  • 09.11.24
  • Ответов: 0
  • Просмотров: 488
  • Истек срок публикации

поиск заданий