ИИ-агент для небольшой сети продуктовых магазинов у дома: управляющий присылает фото полки, а агент находит пустые места, сверяет ценники с базой цен и ставит задачи на исправление. Агента спроектировал и написал Евгений Росляков. Сайтами и автоматизацией он занимается с 2016 года, работает как самозанятый, подписывает договор и выдаёт юрлицам закрывающие документы. Он в Москве, но может работать полностью удалённо.
В сети несколько магазинов. Раз в день управляющие фотографируют главные полки — молочку, хлеб, напитки, акционный товар — и шлют снимки в общий чат. Смотрит их один человек из головного офиса. Он не успевает, фото приходят кривые, при плохом свете, а ценник на снимке часто не разобрать. Пустую полку с молоком или ценник на старую цену после акции находят уже по жалобе покупателя.
Ручной просмотр хотели убрать: выкладку и ценники проверяет система, а человек видит только список того, что надо исправить.
Проверять нужно было по снимкам с обычного телефона. Камеры и оборудование владелец покупать не хотел, да и в маленьком магазине их негде ставить.
И ещё условие: система не должна придумывать. Лучше пометить спорный ценник «проверьте глазами», чем уверенно назвать неверную цену.
Агент работает в несколько шагов. Фото приходит в Telegram, агент разбирает его и пишет управляющему, что поправить.
Первый шаг — выравнивание снимка. За него отвечает OpenCV: находит край полки, убирает перекос, режет фото на секции по ярусам. Без этого дальше всё считается хуже.
Второй шаг — компьютерное зрение. Модель YOLO ищет в секции товары, пустые места и ценники. Обучил я её в Pytorch на фотографиях полок этой же сети: управляющие слали снимки, а я вручную обводил товары и просветы. Свои фото здесь важны. В магазинах у дома полки тесные, упаковки стоят вплотную и частично закрывают друг друга, а готовая общая модель на таких кадрах путалась.
Третий шаг — ценники. Вырезанные кусочки с ценниками уходят в API GPT Vision. Он читает название и цену, агент сверяет их с базой цен сети. Наружу уходят только фрагменты ценников, без людей в кадре. При расхождении или нечитаемом тексте ценник отправляется человеку, а не исправляется молча.
Четвёртый шаг — задачи. Агент собирает для управляющего короткий список: выложить товар на пустое место такого-то яруса, заменить ценник такого-то товара. Выполненное отмечается кнопкой, а в офис уходит сводка по магазинам.
Если управляющий отметил, что агент ошибся, снимок попадает в набор для дообучения. Время от времени модель обновляется на новых примерах, и на знакомых полках ошибок становится меньше.
Сотрудник офиса больше не листает десятки фотографий. Он открывает сводку и видит, где что не так. Пустые места и устаревшие ценники находят раньше, чем на них наткнётся покупатель.
Управляющие получают понятное задание вместо обсуждения в чате. Спорные случаи агент не решает сам, а отдаёт человеку, поэтому его отчётам можно верить. Список товаров и правила проверки меняются без переделки всей системы.
У сети теперь копится архив снимков полок по дням. По нему видно, какие места пустеют чаще и в какое время, и это помогает пересмотреть график выкладки и поставок. Раньше такие вопросы решались по ощущениям.
Сначала управляющим было непривычно, что полку смотрит программа. Потом они увидели, что агент пишет коротко и по делу, а ошибочную пометку можно отклонить одной кнопкой. Снимать стали аккуратнее: чем лучше фото, тем меньше задач приходит в ответ.
Агент не заменяет управляющего. ИИ-агенты вообще хороши там, где работа скучная и повторяется каждый день, как просмотр снимков, а решения остаются у людей: что заказать, как переставить товар, что делать со спорным ценником. Круг проверок можно расширять: холодильники, кассовая зона, витрина.
Хотите поручить рутинную проверку по фото ИИ-агентам? Пришлите на freelance.ru пример снимка, и я оценю, что из него можно распознать.
