Разработать программный комплекс для создания точных 3D-моделей любых объектов с использованием камеры обычного смартфона, исключив потребность в дорогостоящих 3D-сканерах или LiDA

Описание

Разработать программный комплекс для создания точных 3D-моделей любых объектов с использованием камеры обычного смартфона, исключив потребность в дорогостоящих 3D-сканерах или LiDAR-сенсорах.

Ключевые цели:

Универсальность и доступность: Создать интуитивно понятный UI, позволяющий неподготовленному пользователю сделать правильную серию фотографий объекта.

Стресс-тестирование на сложной геометрии: Обеспечить корректную реконструкцию объектов без четких граней. В качестве главного испытания на этапе разработки была выбрана человеческая стопа — самая сложная органическая форма для оцифровки.

Автоматизация: Исключить ручной труд 3D-моделлера, реализовав автоматический пайплайн.

Решение

Работа над проектом велась итеративно. Изначальная гипотеза с использованием нейросети TRELLIS была отвергнута из-за нестабильности результатов на сериях фото и высоких требований к GPU.

Этапы реализации:
Архитектура бэкенда
Спроектирован гибридный пайплайн: оценка глубины резкости (ZoeDepth) → фотограмметрия (COLMAP) → генерация меша (MeshLab).

Пользовательский интерфейс:
Разработан модуль захвата с AR-ассистентом: внедрены универсальные гайды для объекта, система подсказок по ракурсу, дистанции и освещению.Оптимизация 3D-данныхНаписаны алгоритмы для автоматической очистки облака точек от шума, удаления фоновых артефактов и центровки модели в пространстве.

Визуализация:
Внедрено автоматическое запекание текстур (нанесение цвета) и интеграция интерактивного WebGL-вьюера.

Результат

Создан универсальный пайплайн, превращающий серию из фотографий со смартфона или видео в готовую цветную 3D-модель за 8–9 минут автоматической серверной обработки.

Работа выполнена в соавторстве
Екатерина Беска. Главным прорывом Creativedog в этом продукте стал фундаментальный сдвиг парадигмы. Пока рынок искал «магическую таблетку» в виде одной сверхмощной нейросети (которая требовала бы огромных ресурсов), Creativedog реализовал гибридный распределенный конвейер, спроектированный его сосоздательницей, Екатериной.

Именно её понимание того, что ключ к успеху лежит в системной инженерии данных — разбиении сложного процесса на микроэтапы, где каждый шаг выполняет узкоспециализированный, оптимизированный алгоритм — сделало этот прорыв возможным. Это решение сделало технологию жизнеспособной для B2C-рынка.

Презентация проекта