Требуется собрать адреса страниц с метаданными с нескольких сайтов

Здравствуйте, уважаемые специалисты.

Требуется собрать метаданные с трех сайтов.
Задача-максимум — сделать таблицу с адресом, тайтлом и кейвордс каждой страницы.
Задача-минимум — собрать хотя бы адреса.

Сайты:
https://www.reed.co.uk/courses/ - интересует именно раздел /courses, не весь сайт
https://www.hotcourses.com/
https://www.findcourses.co.uk/

Сайты большие, по 150+ тыс. страниц, Скриминг Фрог не справляется, а по...