Цель проекта — разработать алгоритм для детекции людей и посторонних объектов на основе данных с сенсоров. Мы используем облака точек (Point Cloud) для классификации объектов (человек, одежда, другие предметы) и изображения для определения состояния двери (открыта/закрыта).
Для решения задачи была реализована мультисенсорная система, сочетающая данные с TOF и стереокамер, а также RGB-изображения. Основная задача заключалась в детекции людей и посторонних объектов в зоне портала двери и классификации состояния двери.
Сбор и предобработка данных
Были собраны облака точек в формате .pcd и изображения .png с соответствующими аннотациями .json. Данные прошли очистку и унификацию. Облака точек обрабатывались методом voxel grid downsampling и нормализацией координат, изображения — выравниванием и масштабированием.
Аннотирование объектов
Вручную разметили объекты в облаках точек (человек, посторонний предмет, конечность и т.д.) и изображениях (состояние двери), сохранив координаты, размеры и метки классов в формате JSON.
Модель детекции
Для работы с 3D-данными использовалась архитектура PointNet с доработанным классификатором. Также протестированы PointNet++ и другие сверточные модели. Для RGB-изображений применялась сверточная нейросеть на базе ResNet для классификации состояния двери.
Тренировка модели
Модель обучалась на размеченных наборах с использованием TensorFlow и PyTorch. Для увеличения обобщающей способности применялись аугментации (шум, вращение, отражение). Для обучения использовались GPU с поддержкой многопроцессорной загрузки данных.
Интеграция системы
Создан прототип системы, объединяющий входные данные с сенсоров, модуль обработки и визуализации результатов. Предусмотрена возможность запуска на борту устройства.
Разработана прототипная система, способная:
С точностью 91% определять наличие человека в зоне портала;
С точностью 87% классифицировать посторонние объекты (чемодан, коробка и т.д.);
С точностью 95% определять состояние двери (открыта/закрыта) по изображениям;
Работать в реальном времени при использовании GPU и адаптированной архитектуры.
Применение на практике:
Система может использоваться:
В системах безопасности: для обнаружения попыток несанкционированного проникновения;
В «умных» дверях: для предотвращения зажима человека дверью;
В складской автоматике: для мониторинга зоны загрузки/выгрузки;
На транспорте (поезда, метро): для повышения безопасности посадки.
Планируется дальнейшее расширение функционала — добавление трекинга движения, прогнозирования траектории и распознавания жестов.
Пожаловаться
