WER

Как считается

Ошибки трёх видов: слово заменено на другое, слово пропущено, слово добавлено лишним. Их сумма делится на число слов в эталоне. WER 10 % означает, что на сто слов эталона пришлось десять ошибок — при этом ошибок может оказаться и больше ста процентов, если распознавание насочиняло лишних слов.

• Замена: «эскроу» вместо «эскроу-счёт» — одна ошибка.
• Пропуск: не распознано короткое «не» — одна ошибка, а смысл фразы обратный.
• Вставка: шум принят за слово — одна ошибка, хотя в записи её нет.

Почему опубликованный WER нельзя сравнивать напрямую

Цифра зависит не только от модели, но и от того, что именно считали. Два сервиса с одинаковым качеством легко показывают разницу вдвое просто из-за правил подсчёта — поэтому в открытом замере важнее методика, чем само число.

• Нормализация: приводились ли числа к словам («25» и «двадцать пять»), убиралась ли пунктуация, учитывался ли регистр.
• Материал: чтение подготовленного текста в тишине против совещания в переговорной — разница в разы.
• Отбор: посчитан весь набор или только записи, где всё получилось.
• Язык: русский тяжелее английского из-за падежей и свободного порядка слов.

Что означает WER на практике

• До 5 % — текст читается без правки, ошибки в редких терминах и именах.
• 5–15 % — обычный уровень для живой записи со встречи: смысл сохраняется, цифры и фамилии стоит сверить.
• 15–30 % — телефония, далёкий микрофон, шум. Текст годится для поиска по словам, но не для публикации без вычитки.
• Больше 30 % — расшифровку быстрее переписать, чем править.

CER — тот же счёт, но по символам

Character Error Rate считает не слова, а символы. Для русского это полезная добавка: одна неверная буква в окончании портит слово целиком и в WER весит столько же, сколько полностью неузнанное слово, — а на слух разница огромная. Поэтому качество принято показывать парой: WER и CER.

Вопросы