Распознавание речи — что это такое и как работает

Распознавание и синтез речи — противоположные задачи

Их постоянно называют одной строкой, хотя это две разные технологии, направленные в разные стороны. Путаница дорого обходится при выборе сервиса: половина запросов «перевести голос в текст» на самом деле про озвучку.

• Распознавание речи (ASR, automatic speech recognition) — звук на входе, текст на выходе. Это то, что делаем мы.
• Синтез речи (TTS, text-to-speech) — текст на входе, звук на выходе. Так работают голосовые помощники и озвучка книг. Этого мы не делаем.
• Обработка естественного языка (NLP) — третья, отдельная: понять смысл уже полученного текста, пересказать, ответить. Тоже не наша.
• В рабочем конвейере они часто стоят рядом, поэтому и запоминаются вместе: помощник сначала распознаёт вопрос, потом отвечает синтезированным голосом.

Как устроено распознавание речи внутри

Слово «нейросеть» ничего не объясняет: под ним прячется конвейер из нескольких моделей, каждая со своей задачей. Порядок такой.

• Поиск речи (VAD). Запись делится на отрезки, где кто-то говорит; тишина, шум кондиционера и стук чашки отбрасываются.
• Акустическая модель. Главный шаг: отрезок звука превращается в слова. Современные модели обучены на тысячах часов живой речи и работают с той, которую слышат впервые.
• Разделение по голосам (диаризация). Отдельная модель сравнивает голосовые отпечатки отрезков и решает, где сменился говорящий.
• Пунктуация. В звуке знаков препинания нет вовсе — их расставляет ещё одна модель по строению фразы.
• Сведение. Слова получают метку говорящего и время, поэтому по готовому тексту можно попасть в нужную секунду записи.

Чем меряют качество распознавания

Фраза «точность 98 %» сама по себе не значит ничего: важно, на каких записях измеряли и по каким правилам сравнивали тексты. Общепринятая метрика — доля ошибок в словах.

• WER (word error rate) — доля ошибочных слов: замены, пропуски и лишние слова, делённые на число слов в эталоне. Чем меньше, тем лучше.
• Разброс по типам записи двукратный. На нашем открытом замере: 6,91 % на подготовленной начитке, 7,62 % на живой спонтанной речи, 12,58 % на записях с бытовых устройств в шуме.
• Одно усреднённое число этот разброс скрывает, поэтому мы его не усредняем и публикуем по срезам вместе с методикой.
• Правила сравнения важны не меньше цифры: считать ли ошибкой «5» против «пять», учитывать ли пунктуацию. Наши правила и скрипты открыты, расчёт можно повторить.

Где распознавание речи ошибается всегда

Ошибки не размазаны по тексту ровно — они кучкуются в предсказуемых местах, и это свойство задачи, а не конкретного сервиса.

• Имена, термины, аббревиатуры: модель их не встречала и подставляет похожее по звучанию. Лечится списком слов, переданным вместе с записью.
• Наложенная речь: когда двое говорят одновременно, в отрезке смешаны два голоса, и разделить их нечем.
• Дальний микрофон и эхо: отражения от стен размывают согласные.
• Узкая полоса телефонии 8 кГц: в канале физически нет частот, по которым различаются «с», «ш» и «ф». Вернуть их не может никакая модель.

Источники

• GigaAM — репозиторий открытой модели распознавания русской речи от СберДевайсов: код и лицензия MIT.

Вопросы