Клиент поставил задачу разработать веб-прототип навигационного ассистента для слабовидящих пользователей. Цель проекта состояла в том, чтобы человек мог открыть страницу в браузере на смартфоне, дать доступ к камере и микрофону и получать голосовые подсказки об объектах и препятствиях вокруг без установки отдельного мобильного приложения.
Для решения задачи реализовано клиент-серверное веб-приложение на FastAPI и JavaScript. На стороне клиента был создан интерфейс, который получает доступ к камере устройства, захватывает видеокадры и по WebSocket отправляет их на сервер. Серверная часть принимает кадры, обрабатывает их с помощью ансамбля из двух YOLO-моделей и формирует единый ответ с найденными объектами, их координатами и краткой голосовой подсказкой.
В результате был создан рабочий прототип веб-навигационного ассистента для слабовидящих пользователей. Сервис запускается в браузере, получает видеопоток с камеры, анализирует окружающую обстановку и в реальном времени сообщает пользователю о найденных объектах и потенциально важных препятствиях. Пользователь получает как визуальное отображение детекций, так и голосовые подсказки на русском языке, что делает систему удобной для демонстрации и тестирования на реальных устройствах.
https://github.com/danissimoae
https://github.com/elmigerum