Лев Осадчий › levos06
ML, парсеры и боты на Python — с проверяемым результатом
Рейтинг
2 399
№ 454 в каталоге
Отзывы
Профессионализм
10/10
Коммуникация
10 /10
На сайте с
2026 года
Юридический статус
Самозанятый
Безопасная сделка
Деньги списываются после приёмки

Детектор растяжений речи: Whisper + CatBoost, ROC-AUC 0.90 на новых дикторах

Описание

Собственный проект, не клиентский заказ. Задача — автоматически находить в записи речи растянутые звуки (один из маркеров заикания) и размечать их на временной шкале, чтобы не делать это вручную по каждой записи.

Решение

Из аудио извлекаются покадровые эмбеддинги Whisper-small: слои 8, 10 и 11 энкодера, 2304 признака на каждые 20 мс. Поверх них обучен CatBoost, предсказания сглаживаются медианным фильтром.

На выходе — скрипт, который берёт исходный TextGrid, добавляет в него слой disfluencies и записывает найденные интервалы.

Стек: Python, PyTorch, Whisper, CatBoost, praat-textgrids.

Результат

ROC-AUC 0.96 на валидации и 0.90 на отложенном тесте с дикторами, которых модель не слышала. Второе число важнее: оно показывает, что модель не запомнила голоса. Код открыт на GitHub (Levos06/prolongation-detector).

Оценили проект:

Другие проекты

Все проекты →
Веб-разработка и IT Сбор котировок через API и статистика временного ряда с пропусками
Сбор котировок через API и статистика временного ряда с пропусками
51
ИИ и Нейросети MindGit — чат-бот на LLM с деревом уточняющих диалогов
MindGit — чат-бот на LLM с деревом уточняющих диалогов
54
ИИ и Нейросети Диффузионная модель, которая пишет русский текст почерком одного человека
Диффузионная модель, которая пишет русский текст почерком одного человека
50
Веб-разработка и IT Reader AI — веб-приложение для чтения научных статей с переводом и озвучкой
Reader AI — веб-приложение для чтения научных статей с переводом и озвучкой
40