В течение года помогал дорабатывать бэкенд платформы для профессиональный коучей: видеозвонки, личный кабинет, обработка записей сессий, проводимых коучами с клиентами.
Ставились цели:
- создать специализированную платфому для записей видеозвонков клиентов с коучами (это как психологи, только на минималках)
- создать личный кабинет с ролями участников и календарём
- звонки должны быть быть надёжны и без рассинхрона в записи, два потока сохранялись на одном видео, т.е. "два экрана рядом"
- осуществлять тестовую расшифровку сессии и (!!) подсвечивать ключевые моменты в ней, описанные самими коучами: открытые вопросы, значительные паузы, рефрены, прочее
- частично анализировать видеопоток: появление улыбки, поднятие глаз сильно вверх, etc
Заложил основу микросервисов на Python, осуществлявших процессинг коучинговых сессий:
- взаимодействие через Apache Kafka
- эндпоинт для веб-части на FastAPI
- взаимодействие с Amazon S3 для хранения видео-записей коучинговых сессий
- взаимодействие со сторонним API для осуществления расшифровки speech-to-text
- пайплайн на Python, осуществлявший NLP-процессинг
Изначально прототип был сделан на OpenVIDU, далее переехали на Twilio. Моей задачей было заложить бэкендовую часть, NLP (natural language processing) алгоритмы писали отдельные специалисты по Data Science.
Получилось довести веб-сервисы до стадии рабочего прототипа, появились пользователи, проект запустился и начал обрастать специалистами по Data Science. Далее я счёл свою работу успешно выполненной, т.к. непосредственно в части разработки оставались в основном задачи поддержки и развития веб-приложения, а также создания новых эвристик и их интеграцию с ним.
Международная команда проекта (Frontend, Data Science, DevOPS)
Пожаловаться
