Data/Miner скрэпинг сайтов с разными типами защит

Доброго дня, необходимо создать платформу, с ботами которые будут в промежутке 1/2 дня ходить по сайтам и собирать текстовую информацию. Таких сайтов будет 300+.
Первая задача - оценить примерно 10 сайтов, на предмет сложности обхода и возможного маcштабирования самого сайта.

Далее разработка самого сервиса.

От вас требуется опыт в похожих...