Настройка ETL (Airflow / NiFi)

«Сломалась выгрузка, директор утром без отчета» — боль компаний, где данные переносятся самописными скриптами по cron. Если pipeline падает, об этом узнают слишком поздно.

Я строю промышленные, отказоустойчивые конвейеры данных (ETL/ELT), которые работают как часы: сами восстанавливаются при сбоях, логируют транзакции и шлют алерты до того, как проблему заметит бизнес.

Бизнес-ценность для вас:
• Гарантированная доставка данных (Uptime ETL 99.7%).
• Near-real-time аналитика: данные с касс, складов, сайтов попадают в отчеты с задержкой <15 минут (вместо «раз в сутки»).
• Аудируемость: система сама повторяет попытку при ошибке (automatic retry) без потери дублей.
• Спокойствие IT-отдела: прозрачный мониторинг (SLA) и понятные алерты.

Мой подход: связка Apache Airflow (оркестрация) + Apache NiFi (маршрутизация, потоки). Интеграция любых источников (API, SFTP, Kafka, БД). Внедряю CI/CD для DAG-ов, настраиваю back-pressure и пишу документацию для сопровождения.

Тарифы (ставка 10 000 ₽/день):
🔹 Проектирование потока + консультация — 2 дня. Выбор инструментов, схема маршрутизации.
🔹 ETL-пайплайн средней сложности (до 5 направлений) — 7 дней. NiFi/Airflow, retry, алерты, тесты.
🔹 Фабрика данных (до 15 конвейеров) — 20 дней. Архитектура под ключ, CI/CD, мониторинг (Prometheus/Grafana), SLA, передача в support.

• Ключевые слова:
• оркестрация
• nifi
• etl
• конвейеры
• парсинг
• airflow
• интеграция
• api
• загрузка
• потоки
• elt
• данных
• apache
• мониторинг