Data Vault 2.0 и near-real-time аналитика для федеральной retail-сети: latency данных <15 минут вместо 24 часов Специализация: Базы данных / Big Data

Описание

Клиент — крупнейшая розничная сеть. Хранилище на Teradata с
монолитными денормализованными витринами: изменения источников
требовали рефакторинга десятков витрин, историчность хранилась
частично, данные для аналитики продаж поступали с задержкой 24 часа.

Решение

Реинжиниринг слоя витрин на Data Vault 2.0: hubs (магазин, товар,
клиент), links (продажи, поставки), satellites с полной историчностью.
Редизайн партиционирования, vacuum-стратегий, материализованных
представлений. Построил near-real-time потоки для трёх доменов —
продажи (POS), запасы, программа лояльности — с latency <15 минут.

Технологии: Teradata, Oracle, PostgreSQL, Informatica PC, Data Vault

Результат

latency аналитики 24 часа → <15 минут; изменение витрины —
2–3 дня вместо 1–2 недель; полнота историчности 100%.

Презентация проекта