Каждый месяц филиалы присылают отчёты в Excel: продажи по категориям и товарам с разбивкой по поставщикам, производство и отгрузки по магазинам. Формы заполняют люди, поэтому в них всегда что-то не так: лишние пробелы, числа текстом, пустые строки, итоги, которые не сходятся с суммой строк. Сводить такие файлы вручную долго, а ошибки находятся уже в готовом отчёте.
Нужен был скрипт, который сам забирает отчёты из папки, разбирает их, проверяет и складывает в базу, откуда строятся сводные отчёты.
На скриншотах демонстрационные отчёты филиала дистрибьютора стройматериалов с вымышленными данными.
Один запуск обрабатывает все отчёты из папки:
1. читает из шапки период, подразделение и список показателей;
2. разбирает вложенную структуру: категория с единицей измерения, товар, поставщики или магазины;
3. чистит данные: лишние и неразрывные пробелы, числа текстом, строки-заглушки;
4. сверяет итоги: сумма по поставщикам должна совпадать с итогом товара, сумма товаров с итогом категории; расхождения попадают в лог с указанием места;
5. загружает в базу в одной транзакции; повторная загрузка того же отчёта заменяет данные, а не дублирует их;
6. успешные файлы переносит в архив, проблемные в отдельную папку, всё пишет в журнал.
Запуск по расписанию раз в месяц через cron, отдельной системы планирования не нужно. В базе готовые представления: продажи по категориям и месяцам, доля местных поставщиков, отгрузки по магазинам.
Технически: Python, openpyxl, PostgreSQL, Bash, cron.
Четыре отчёта за три месяца загружаются одной командой за пару секунд. Скрипт сам нашёл заложенную ошибку в итоге по фасадной краске и показал, где именно она в файле. Данные сразу доступны для сводных отчётов, без ручного копирования между таблицами.