Нужен был веб-сервис, который проверяет техническое состояние публичного сайта и показывает конкретные проблемы без непрозрачных AI-рекомендаций. Проверяются HTTP, метаданные, canonical, robots.txt, sitemap, ссылки, изображения и базовые security headers.
Собрал crawler и систему технических проверок. Добавил анализ title, description, H1, canonical, robots, sitemap, внутренних и внешних ссылок, изображений и HTTP-заголовков. Для сетевого слоя предусмотрены ограничения запросов, redirect-проверки и защита от обращения к приватным адресам.
Получился работающий веб-сервис технического аудита. Каждая найденная проблема связана с конкретным HTTP- или HTML-сигналом, поэтому результат можно использовать как основу для реальных исправлений сайта.
