парсер сайтов с phantomjs

парсер сайтов

*с phantomjs, для прорисовки страниц, перед сохранением

*данные нужно сохранять в AWS

*мультипоточность

*парсить только первые уровни страниц сайтов, и страницы (в рамках домена), на которые есть прямая ссылка с главной страницы сайта.

*изображения сохранять не надо

*записывать в отдельный файл домены, которые не получилось спарсить

*база в...