Система автоматизирует ежедневную обработку прайс-листов нескольких поставщиков для интернет-магазина. Цель — убрать ручное копирование данных, привести разные форматы к единой схеме и вовремя замечать изменения цен, остатков и состава каталога.
Система забирает данные из JSON API, CSV в кодировке cp1251 и XLSX. Для каждого источника задаётся декларативное сопоставление полей, после чего цены, валюты, остатки и названия нормализуются. Товары сопоставляются по GTIN, артикулу, алиасу и названию.
Реализовал поиск новых, исчезнувших и вернувшихся позиций, изменений цен и остатков, а также аномальных скачков. Добавил защиту от повторного импорта, обрезанной выгрузки и параллельного запуска. История хранится в PostgreSQL. После синхронизации формируется XLSX-отчёт с семью листами и отправляется сводка в Telegram либо файл. Доступны REST API, CLI и ежедневный запуск по расписанию.
Стек: Python 3.12, FastAPI, SQLAlchemy, PostgreSQL, Alembic, HTTPX, openpyxl, APScheduler, Docker Compose.
Получился воспроизводимый конвейер: от получения данных из разных источников до сохранения истории изменений и итогового отчёта. На контрольном запуске обработано 195 позиций: найдено 7 новых и 9 исчезнувших товаров, 186 изменений цен и 4 аномальных скачка.