Член команды:
Команда
Виктор Плотников › plotnikovv Сбер ID
Под лежачий камень вода не течет
Рейтинг
212
№ 6 255 в каталоге
Отзывы
0
Профессионализм
-/10
Коммуникация
- /10
Город
Уфа
Опыт работы
7 лет
На сайте с
2022 года
Юридический статус
Самозанятый

Навигационный помощник для слепых и слабовидящих на базе компьютерного зрения и искусственного интеллекта

Используемые навыки Веб-программирование Искусственный интеллект

Описание

Клиент поставил задачу разработать веб-прототип навигационного ассистента для слабовидящих пользователей. Цель проекта состояла в том, чтобы человек мог открыть страницу в браузере на смартфоне, дать доступ к камере и микрофону и получать голосовые подсказки об объектах и препятствиях вокруг без установки отдельного мобильного приложения.

Решение

Для решения задачи реализовано клиент-серверное веб-приложение на FastAPI и JavaScript. На стороне клиента был создан интерфейс, который получает доступ к камере устройства, захватывает видеокадры и по WebSocket отправляет их на сервер. Серверная часть принимает кадры, обрабатывает их с помощью ансамбля из двух YOLO-моделей и формирует единый ответ с найденными объектами, их координатами и краткой голосовой подсказкой.

Результат

В результате был создан рабочий прототип веб-навигационного ассистента для слабовидящих пользователей. Сервис запускается в браузере, получает видеопоток с камеры, анализирует окружающую обстановку и в реальном времени сообщает пользователю о найденных объектах и потенциально важных препятствиях. Пользователь получает как визуальное отображение детекций, так и голосовые подсказки на русском языке, что делает систему удобной для демонстрации и тестирования на реальных устройствах.

Работа выполнена в соавторстве

https://github.com/danissimoae
https://github.com/elmigerum

Оценили проект:

Другие проекты

Все проекты →
Веб-разработка и IT Информационная система подготовки к компьютерным выпускным экзаменам
Информационная система подготовки к компьютерным выпускным экзаменам
39