Описание

Миграция старых потоков данных с Drill на современные технологии на базе Clickhouse, Airflow, DBT, Python.
Управление командой инженеров данных

Решение

Реализовано успешно - более 200 витрин, тысячи моделей DBT, хранилище данных до 5 Тб.
Доработан CI/CD-процесс, описана архитектура и потоки данных.

Результат

Успешно работает, количество инцидентов с потоками данных сократилось более чем в 10 раз.

Работа выполнена в соавторстве

Презентация проекта