AI-система автоматизированного минибара для гостиниц

Описание

Разработка edge/cloud-системы для автоматизированного контроля товаров в гостиничных минибарах.

Система должна была определять, какие товары гость взял, вернул или переместил, формировать события потребления и передавать данные в облачный сервис для дальнейшего выставления счёта. Решение должно было работать на устройстве с ограниченными вычислительными ресурсами и сохранять устойчивость при нестабильном интернет-соединении.

В проекте я выполнял роль Tech Lead / AI Systems Engineer: проектировал архитектуру, разрабатывал Python-сервисы, участвовал в создании Computer Vision пайплайна, интеграции оборудования и облачного backend.

Решение

Я спроектировал событийную edge/cloud-архитектуру, объединяющую камеры, локальный AI-анализ, backend-сервисы и облачную платформу.

На edge-устройстве был реализован пайплайн обработки изображений:

— получение и нормализация кадров с камер;
— выделение областей интереса;
— детекция товаров с использованием YOLO;
— сегментация объектов с помощью SAM;
— распознавание DataMatrix-кодов;
— объединение пересекающихся детекций через IoU;
— кластеризация и постобработка результатов;
— сравнение состояния минибара до и после взаимодействия гостя.

Для обмена между устройством и облаком использовался MQTT. Компоненты системы были разделены на независимые сервисы: обработка изображений, управление состоянием устройства, формирование транзакций и синхронизация данных.

Локальный inference позволял системе продолжать работу при временной потере соединения. События сохранялись на устройстве и передавались в облако после восстановления связи.

Отдельное внимание уделялось обработке неполных данных, повторных событий, ложных детекций и восстановлению состояния после сбоев.

Результат

Создан рабочий end-to-end прототип автоматизированного минибара, объединяющий оборудование, Computer Vision, Python backend и облачную инфраструктуру.

Система распознавала изменения в составе товаров, формировала события потребления и передавала их в облачный сервис. Архитектура поддерживала локальную обработку изображений, асинхронный обмен через MQTT и восстановление после временной потери связи.

Проект подтвердил возможность автоматизировать ручной контроль минибаров и стал технической основой для дальнейшего пилотирования решения в гостиничном бизнесе.

Мой вклад включал системную архитектуру, разработку AI/CV-пайплайна, backend-логику, интеграцию компонентов и техническое руководство разработкой.