Проверка ответов сервера

Общая цель - вычистить по ответу сервера (не скачивая страницу) какие URL не обновились после указанной даты (в настройках) или не изменились по размеру (если известен размер)
Проверка идет в N потоков (в настройках), размер страницы пишется в файл sites_size.txt

Список URL в файле sites_for_parsing.txt, в списке более 1 млн...