Построение DWH с нуля на open-source для горнорудной компании: 12 источников (1С, SAP, Excel), импортозамещение

Описание

Клиент — добывающая компания. Аналитика велась в 12 разрозненных
источниках (1С, SAP, Excel, файлы подрядчиков): расхождения в
отчётности до 15%, сводный отчёт для руководства готовился 1–2 недели.
Задача: импортозамещённое единое хранилище на open-source стеке.

Решение

Спроектировал и запустил DWH: PostgreSQL (staging) → Greenplum
(ядро) → ClickHouse (OLAP-витрины) → BI. Интегрировал 12 источников
через NiFi (COM-интерфейсы 1С, RFC-коннекторы SAP, SFTP, REST API).
Разработал 15+ ETL-конвейеров в Airflow с валидацией и дедупликацией
(ежедневная загрузка ~500 МБ). Оптимизировал партиционирование и
индексную стратегию. Как техлид: onboardил 3 инженеров, внедрил
code review SQL/Python и CI для DAG-ов.

Технологии: PostgreSQL, Greenplum, ClickHouse, Airflow, NiFi, Python, SSIS

Результат

отчёт для руководства — 2 часа вместо 1–2 недель,
+35% к скорости отчётности, I/O load −40%, расхождения данных <0.1%.

Презентация проекта