Разработка инженерной SEO-платформы для системного анализа сайтов и поисковой выдачи. Проект направлен на решение проблемы разрозненных инструментов: краулеров, систем мониторинга позиций, сервисов частотности и таблиц, которые не позволяют воспроизводить анализ и теряют историю изменений. Платформа проектировалась как API-first система, где сбор данных, хранение и аналитика разделены. В основе лежит модель job/snapshot, позволяющая фиксировать состояние данных на конкретный момент времени без перезаписи истории. Решение предназначено для системного SEO-анализа, накопления исторических данных и подготовки базы для дальнейшей автоматизации и ML/LLM-аналитики.
Спроектирована архитектура платформы и модель данных для хранения и анализа SEO-данных. Реализована API-ориентированная система на FastAPI с асинхронными воркерами для различных типов задач: краулинг сайтов, сбор SERP-снимков и получение частотностей. Данные сохраняются в PostgreSQL с разделением на исходные данные, нормализованные структуры и вычисляемые метрики.
Основные контуры системы:
— сбор и нормализация семантического ядра, дедупликация запросов, работа с интентами и кластерами;
— SERP snapshot: фиксация топ-N выдачи, конкурентов и позиции проекта;
— сбор частотностей (Wordstat) с учетом регионов и ограничений источников;
— краулинг сайтов с фиксацией статусов, редиректов, canonical, метаданных и разделением raw HTML, контента и метрик;
— распределение запросов по страницам и выявление каннибализации;
— система мониторинга изменений и формирования задач на основе данных.
Архитектура построена на принципах:
— разделение сбора данных и аналитики;
— хранение исторических снимков без перезаписи;
— воспроизводимость анализа через job/snapshot модель;
— API-first подход для интеграций и автоматизации.
Создан фундамент для системной SEO-аналитики, где все данные собираются, хранятся и анализируются в единой структуре. Платформа позволяет фиксировать состояние сайтов и поисковой выдачи во времени, повторять анализ на основе исторических данных и выявлять изменения.
Решение формирует базу для дальнейшей автоматизации SEO-процессов: мониторинга позиций и изменений, контроля результатов внедрения ТЗ, генерации аналитики и использования накопленных данных в ML/LLM-моделях. Платформа масштабируется и может использоваться как внутренняя система анализа для агентств или крупных проектов.
Пожаловаться
