Проверка ответов сервера

Задание закрыто
Статус рабочей области:Закрыта по истечению срока выполнения работ
Стоимость:777 рублей
Срок выполнения:7 дней
Варианты оплаты:По договоренности
Дата публикации:2018-09-14 09:16
Обновлено:2018-09-14 09:36
Был(а) на сайте:2022-06-21 06:47

Проверка ответов сервера

 
Задача

Общая цель - вычистить по ответу сервера (не скачивая страницу) какие URL не обновились после указанной даты (в настройках) или не изменились по размеру (если известен размер)
Проверка идет в N потоков (в настройках), размер страницы пишется в файл sites_size.txt

Список URL в файле sites_for_parsing.txt, в списке более 1 млн адресов, его берем в работу. Пример:
-----
nordlib.ru/biblioteki/gnezdyshko
nordlib.ru/biblioteki/knizhkindom
nordlift.spb.ru
nordline.info/index.php
nordmcmebel.ru/page.html
...
-----

Программа берез заголовки ответа сервера, не скачивая саму страницу, результат пишем в файл result_sites_for_parsing.txt
- не пишем из начального sites_for_parsing.txt если страница обновилась до даты в настройках
- не пишем из начального sites_for_parsing.txt если страница не изменилась в размере в байтах (если найдено в sites_size.txt)
- не пишем из начального sites_for_parsing.txt если есть ошибка загрузки типа 404, 500, т.е. если нет 200



Интересует как примерно будет выглядеть,...

Видеть полную информацию и оставлять заявки могут только авторизованные пользователи.
Исполнитель по этому заданию выбран.
Заявок нет

Оставлять заявки могут только авторизованные пользователи.

Другие открытые задания:

поиск заданий