Сервис по определению эмоционального отклика

Описание

Разработка c нуля сервиса по определению эмоционального отклика по видео с веб камеры.
Выступал в роли тимлида/ведущего разработчика в computer vision
В итоговом сервисе используются нейросети по детекции лиц, классификации эмоций,
определение направления взгляда человека.
Также была сделана интеграция в основную платформу.

Решение

Была произведена оптимизация по скорости по детекции лиц в 10 раз относительно open
source решения.
Для удешевления ресурсов система оптимизирована под CPU

Стек: Python, Docker, FastApi, OpenVino, PyTorch

Результат

Итоговая производительность 500fps на 2080 Ti
Также были разработаны алгоритмы по построению тепловых карт взглядов для различного
типа контента.

Ссылки на примеры реализации

 sensemachine.net

Презентация проекта