Большинству специалистов (руководители, сейлзы, аналитики, юристы, рекрутеры) на онлайн-встречах необходимы точные протоколы: кто, что и когда пообещал.
Существующие решения имеют два критических недостатка:
1. Конфиденциальность и безопасность: облачные сервисы отправляют аудиозаписи на сторонние серверы, что строго запрещено службами безопасности и соглашениями NDA.
2. Присутствие бота: подключение бота-транскрибатора ко встрече часто смущает собеседников, а на многих закрытых платформах боты вовсе заблокированы.
Цель проекта: разработать быстрое автономное Windows-приложение для автоматической записи и расшифровки созвонов в реальном времени, работающее полностью локально на компьютере пользователя без интернета, без GPU (только на CPU) и без подключения ботов.
Спроектировал и реализовал архитектуру высокопроизводительного десктопного приложения:
1. Захват аудио (WASAPI):
Реализован низкоуровневый захват микрофона и системного звука через Windows WASAPI Loopback без необходимости ставить виртуальные аудиокабели или сторонние драйверы. Программа совместима с любыми звонками: Zoom, Телемост, Teams, Telegram, Яндекс/Google Meet.
2. Распознавание речи на CPU (On-Device STT):
Интегрирован движок sherpa-onnx с моделью GigaAM v3. Текст формируется в реальном времени (RTF < 0.15) прямо во время разговора даже на обычном офисном ноутбуке с 8 ГБ RAM без дискретной видеокарты.
3. Диаризация и одновременная речь:
Реализовано разделение собеседников по голосам после завершения звонка, поддержка сценария «несколько человек у одного микрофона», а также алгоритм разделения наложившихся голосов (перебивания) на базе ONNX-модели.
Разработан и выпущен готовый программный продукт: https://iazshadow.macroera.ru
- Текст появляется на экране в реальном времени во время звонка.
- После встречи формируется структурированный протокол с таймкодами, разметкой по собеседникам и чистым разделением спорных моментов.
- 100% автономность: программа сохраняет полную работоспособность даже при отключенном интернете.
- Приложение не привлекает внимания участников звонка и соответствует самым строгим корпоративным требованиям информационной безопасности.