Production-автоматизация: Python, очереди задач, Docker, интеграции API

Используемые навыки Docker FastAPI PostgreSQL Python Автоматизация тестирования

Описание

Компания / клиника с растущим объёмом рутинных IT-задач: отчёты из таблиц, сведение выгрузок из разных систем, рассылки, фоновая обработка данных. Одного скрипта «на коленке» уже недостаточно — нужна надёжная система, которая не падает при сбоях и пиковой нагрузке.

Типичные боли заказчика: администраторы тратят часы на однотипные отчёты; данные размазаны по Excel, Google Таблицам и внутренним сервисам; при сбое задачи теряются без логов.

Решение

Спроектировал и реализовал production-контур автоматизации:

• автоматизация рутины: отчёты из Excel и Google Таблиц, сведение выгрузок, рассылка в Telegram;
• backend с очередями задач (RabbitMQ) — задачи не теряются при сбоях, есть повторные попытки;
• воркеры для фоновой обработки: текст, данные, публикация во внешние системы;
• интеграции по HTTP API между внутренними сервисами и внешними площадками;
• контейнеризация Docker и развёртывание на сервере;
• логирование и health-check — видно, что сервисы живы и задачи выполняются.

Для простых сценариев — один Python-скрипт с инструкцией. Для сложных — проектирование, этапы, документация.

Стек: Python, FastAPI, RabbitMQ, PostgreSQL, Docker, HTTP API, pandas.

Результат

• Стабильная система вместо набора разрозненных скриптов;
• задачи выполняются в фоне — сотрудники не ждут у монитора;
• при сбое — автоматический retry, задача не пропадает;
• единые логи для диагностики проблем;
• масштабирование: новые типы задач добавляются воркерами без остановки всей системы;
• снижение ручного труда на отчёты и сведение данных.