Миграция хранилища банка 12 ТБ с MS SQL на Greenplum: throughput +3.2×, регуляторная отчётность ЦБ РФ Специализация: Базы данных / Big Data

Описание

Клиент — банк топ-20. Хранилище 12 ТБ на MS SQL Server: предел
вертикального масштабирования, batch-окна 6–8 часов, риски для
регуляторной отчётности при пиковых нагрузках.

Решение

Миграция в 4 волны по 3 ТБ с parallel run на каждую волну.
Спроектировал MPP-схему Greenplum: distribution keys по анализу
cardinality и join-паттернов, columnar storage (AOCS) для аналитических
таблиц. Построил слой витрин для отчётности ЦБ РФ с полной
аудит-трассировкой до source-систем и автогенерацией XML. Оптимизация
топ-50 запросов через EXPLAIN-анализ, редизайн партиционирования.

Технологии: Greenplum, MS SQL, Power BI

Результат

throughput +3.2×, batch-окно 6–8 часов → 2–3 часа,
регуляторный отчёт — 45 минут вместо 4 часов, пиковый CPU 95% → 65%.

Презентация проекта