Telegram-боты, парсеры и автоматизация на Python
Рейтинг
48
№ 107 683 в каталоге
Отзывы
0
Профессионализм
-/10
Коммуникация
- /10
Город
Новосибирск
Опыт работы
3 года
На сайте с
2026 года
Юридический статус
Самозанятый

Загрузка ежемесячных отчётов из Excel в PostgreSQL: разбор форм с вложенными категориями, проверка итогов, журнал загрузок и готовые сводные отчёты

Используемые навыки Bash Excel Linux PostgreSQL Python

Описание

Каждый месяц филиалы присылают отчёты в Excel: продажи по категориям и товарам с разбивкой по поставщикам, производство и отгрузки по магазинам. Формы заполняют люди, поэтому в них всегда что-то не так: лишние пробелы, числа текстом, пустые строки, итоги, которые не сходятся с суммой строк. Сводить такие файлы вручную долго, а ошибки находятся уже в готовом отчёте.

Нужен был скрипт, который сам забирает отчёты из папки, разбирает их, проверяет и складывает в базу, откуда строятся сводные отчёты.

На скриншотах демонстрационные отчёты филиала дистрибьютора стройматериалов с вымышленными данными.

Решение

Один запуск обрабатывает все отчёты из папки:
1. читает из шапки период, подразделение и список показателей;
2. разбирает вложенную структуру: категория с единицей измерения, товар, поставщики или магазины;
3. чистит данные: лишние и неразрывные пробелы, числа текстом, строки-заглушки;
4. сверяет итоги: сумма по поставщикам должна совпадать с итогом товара, сумма товаров с итогом категории; расхождения попадают в лог с указанием места;
5. загружает в базу в одной транзакции; повторная загрузка того же отчёта заменяет данные, а не дублирует их;
6. успешные файлы переносит в архив, проблемные в отдельную папку, всё пишет в журнал.

Запуск по расписанию раз в месяц через cron, отдельной системы планирования не нужно. В базе готовые представления: продажи по категориям и месяцам, доля местных поставщиков, отгрузки по магазинам.

Технически: Python, openpyxl, PostgreSQL, Bash, cron.

Результат

Четыре отчёта за три месяца загружаются одной командой за пару секунд. Скрипт сам нашёл заложенную ошибку в итоге по фасадной краске и показал, где именно она в файле. Данные сразу доступны для сводных отчётов, без ручного копирования между таблицами.

Оценили проект:

Другие проекты

Все проекты →
Веб-разработка и IT Каркас Telegram-бота с админкой в самом боте: пользователи и роли, контроль доступа, блокировки, PostgreSQL, Redis и запуск в Docker
Каркас Telegram-бота с админкой в самом боте: пользователи и роли, контроль доступа, блокировки, PostgreSQL, Redis и запуск в Docker
38
Веб-разработка и IT Telegram-бот учёта книг с AI-поиском: личный список со статусами, общая база книг и поиск по описанию через OpenAI
Telegram-бот учёта книг с AI-поиском: личный список со статусами, общая база книг и поиск по описанию через OpenAI
33
Веб-разработка и IT Telegram-бот поиска по Википедии, GitHub и Stack Overflow: один запрос, три источника параллельно, единый ответ и защита от лимитов API
Telegram-бот поиска по Википедии, GitHub и Stack Overflow: один запрос, три источника параллельно, единый ответ и защита от лимитов API
28
Веб-разработка и IT Telegram-бот расшифровки голосовых в текст: русская речь с пунктуацией, кружки и аудиофайлы, работает на сервере с 1 ГБ RAM без облачных API
Telegram-бот расшифровки голосовых в текст: русская речь с пунктуацией, кружки и аудиофайлы, работает на сервере с 1 ГБ RAM без облачных API
42