Создание робота-проходчика для сбора данных по заданным критериям

Требуется разработка программы, тип программы "робот-проходчик" - смысл в сборе данных с сайтов определенной тематики (возможно, из определенного региона) по заданным критериям (подробности в личку). Возможно, термин "робот-проходчик" не совсем верен... Нужен сбор данных из открытых источников по заданным критериям. Рассмотрю все возможные варианты и предложения!