Илья Жарков › ilya.zharkov Сбер ID
Рейтинг
216
№ 6 028 в каталоге
Отзывы
0
Профессионализм
-/10
Коммуникация
- /10
Город
Санкт-Петербург
Опыт работы
28 лет
На сайте с
2011 года
Юридический статус
ИП

iazShadow — локальный AI-ассистент для записи и транскрибации созвонов под Windows (100% офлайн)

Используемые навыки AI Development Автономный ИИ Консультации в сфере IT Расшифровка аудио/видеозаписей

Описание

Большинству специалистов (руководители, сейлзы, аналитики, юристы, рекрутеры) на онлайн-встречах необходимы точные протоколы: кто, что и когда пообещал.

Существующие решения имеют два критических недостатка:
1. Конфиденциальность и безопасность: облачные сервисы отправляют аудиозаписи на сторонние серверы, что строго запрещено службами безопасности и соглашениями NDA.
2. Присутствие бота: подключение бота-транскрибатора ко встрече часто смущает собеседников, а на многих закрытых платформах боты вовсе заблокированы.

Цель проекта: разработать быстрое автономное Windows-приложение для автоматической записи и расшифровки созвонов в реальном времени, работающее полностью локально на компьютере пользователя без интернета, без GPU (только на CPU) и без подключения ботов.

Решение

Спроектировал и реализовал архитектуру высокопроизводительного десктопного приложения:

1. Захват аудио (WASAPI):
Реализован низкоуровневый захват микрофона и системного звука через Windows WASAPI Loopback без необходимости ставить виртуальные аудиокабели или сторонние драйверы. Программа совместима с любыми звонками: Zoom, Телемост, Teams, Telegram, Яндекс/Google Meet.

2. Распознавание речи на CPU (On-Device STT):
Интегрирован движок sherpa-onnx с моделью GigaAM v3. Текст формируется в реальном времени (RTF < 0.15) прямо во время разговора даже на обычном офисном ноутбуке с 8 ГБ RAM без дискретной видеокарты.

3. Диаризация и одновременная речь:
Реализовано разделение собеседников по голосам после завершения звонка, поддержка сценария «несколько человек у одного микрофона», а также алгоритм разделения наложившихся голосов (перебивания) на базе ONNX-модели.

Результат

Разработан и выпущен готовый программный продукт: https://iazshadow.macroera.ru

- Текст появляется на экране в реальном времени во время звонка.
- После встречи формируется структурированный протокол с таймкодами, разметкой по собеседникам и чистым разделением спорных моментов.
- 100% автономность: программа сохраняет полную работоспособность даже при отключенном интернете.
- Приложение не привлекает внимания участников звонка и соответствует самым строгим корпоративным требованиям информационной безопасности.

Оценили проект:

Другие проекты

Все проекты →
Веб-разработка и IT Кроссплатформенный менеджер паролей, документов и 2FA с Zero-Knowledge шифрованием в продакшене (Google Play, RuStore)
Кроссплатформенный менеджер паролей, документов и 2FA с Zero-Knowledge шифрованием в продакшене (Google Play, RuStore)
54
Веб-разработка и IT MVP платформы управления коммерческим автопарком: омниканальный чат оператора, таск-трекер с Kanban и складской учет (NestJS, Vue 3, Redis, Docker)
MVP платформы управления коммерческим автопарком: омниканальный чат оператора, таск-трекер с Kanban и складской учет (NestJS, Vue 3, Redis, Docker)
63
ИИ и Нейросети AI-ассистент в Telegram на базе Agentic RAG: экспертные консультации по кормам и рационам животных с защитой от галлюцинаций
AI-ассистент в Telegram на базе Agentic RAG: экспертные консультации по кормам и рационам животных с защитой от галлюцинаций
68
Веб-разработка и IT Омниканальная платформа обмена сообщениями и веб-кабинет оператора: интеграция Facebook Messenger и TikTok (NestJS / Vue 3)
Омниканальная платформа обмена сообщениями и веб-кабинет оператора: интеграция Facebook Messenger и TikTok (NestJS / Vue 3)
56