Программа для поиска дублей страниц на сайте

Задание в архиве

Необходима программа которая анализирует указанный сайт на наличие дублирующегося контента.

Пример страниц с продублированным контентом:
http://uzlawyer.com/news.php?day.20111202
http://uzlawyer.com/news.php?extend.355.14

Программа (по идее) должна работать примерно так:
1) вводишь url, допустим, http://ria.ru/lenta/
1.а) вводишь x%
2) производится сканирование подпапки сайта или сайта целиком
3) если найдены 2 страницы, с совпадающим на x% контентом,...

Бюджет По договоренности
Срок 30 дней
Оплата По договоренности
Категория Веб-разработка и IT
Просмотры 1
Опубликовано 21.03.2012

Войдите, чтобы увидеть полную информацию.