WER (Word Error Rate) — что это и как считается
WER (Word Error Rate) — это доля ошибок распознавания речи в словах: сумма замен, пропусков и лишних слов, поделённая на число слов в эталонной расшифровке. Основная метрика качества систем распознавания речи (ASR).
Как считается
Ошибки трёх видов: слово заменено на другое, слово пропущено, слово добавлено лишним. Их сумма делится на число слов в эталоне. WER 10 % означает, что на сто слов эталона пришлось десять ошибок — при этом ошибок может оказаться и больше ста процентов, если распознавание насочиняло лишних слов.
- Замена: «эскроу» вместо «эскроу-счёт» — одна ошибка.
- Пропуск: не распознано короткое «не» — одна ошибка, а смысл фразы обратный.
- Вставка: шум принят за слово — одна ошибка, хотя в записи её нет.
Почему опубликованный WER нельзя сравнивать напрямую
Цифра зависит не только от модели, но и от того, что именно считали. Два сервиса с одинаковым качеством легко показывают разницу вдвое просто из-за правил подсчёта — поэтому в открытом замере важнее методика, чем само число.
- Нормализация: приводились ли числа к словам («25» и «двадцать пять»), убиралась ли пунктуация, учитывался ли регистр.
- Материал: чтение подготовленного текста в тишине против совещания в переговорной — разница в разы.
- Отбор: посчитан весь набор или только записи, где всё получилось.
- Язык: русский тяжелее английского из-за падежей и свободного порядка слов.
Что означает WER на практике
- До 5 % — текст читается без правки, ошибки в редких терминах и именах.
- 5–15 % — обычный уровень для живой записи со встречи: смысл сохраняется, цифры и фамилии стоит сверить.
- 15–30 % — телефония, далёкий микрофон, шум. Текст годится для поиска по словам, но не для публикации без вычитки.
- Больше 30 % — расшифровку быстрее переписать, чем править.
CER — тот же счёт, но по символам
Character Error Rate считает не слова, а символы. Для русского это полезная добавка: одна неверная буква в окончании портит слово целиком и в WER весит столько же, сколько полностью неузнанное слово, — а на слух разница огромная. Поэтому качество принято показывать парой: WER и CER.
Калькулятор WER
Вставьте эталон (как было сказано) и расшифровку (как распознано) — считает сразу, без кнопок. Расчёт идёт в браузере: тексты никуда не отправляются, регистрация не нужна. Правила те же, что в нашем открытом замере: регистр и знаки препинания не учитываются, «ё» равно «е», числа разворачиваются в слова — «5 %» и «пять процентов» считаются одним и тем же.
Одна тонкость: большие числа лучше писать без пробелов между разрядами — «12000», а не «12 000». Пробел внутри числа правила понимают только рядом со знаком валюты или процента, и «12 000 рублей» разберётся как два числа подряд. Так же считает и опубликованный замер — здесь ровно те же правила, без поправок.
Заполните оба поля — или нажмите «Подставить пример», чтобы посмотреть, как считается.
Источники
- jiwer — открытая библиотека подсчёта WER и CER; ею посчитан наш открытый замер.
- NIST SCTK (sclite) — набор инструментов NIST для подсчёта ошибок распознавания речи.
Попробуйте на своей записи
Посмотрите, сколько ошибок будет на вашей записи, а не на чужом наборе.
Загружайте запись любой длины — бесплатно расшифруем первые 3 минуты. Без регистрации.
Вопросы
Одинаковые три буквы означают разные вещи, и в выдаче они перемешаны. Word Error Rate — доля ошибок в распознанном тексте, об этом вся наша страница. Windows Error Reporting — служба отчётов об ошибках в Windows, к речи отношения не имеет; её файлы лежат в папке WER и появляются после падения программы. Ещё «wer» — немецкое слово «кто», поэтому в выдаче попадаются словари. Если вы искали службу Windows или перевод с немецкого, вам не сюда.
WER (Word Error Rate) — доля слов, которые надо исправить, чтобы расшифровка совпала с тем, что было сказано. Считается как сумма замен, вставок и пропусков, поделённая на число слов эталона. Меньше — лучше: WER 7 % значит семь исправлений на сотню слов, то есть примерно двадцать правок на страницу текста. Цифра без описания записей и правил сравнения бессмысленна — на чистой начитке и на диктофоне в шуме она отличается вдвое.
На чистой записи с ближним микрофоном — единицы процентов. На реальной встрече в переговорной 8–15 % это нормальный результат, а не брак: половину ошибок там даёт сама запись, а не модель.
Да. Вставки считаются ошибками, а их число ничем не ограничено: если на шум распознавание насочиняло слов больше, чем было в эталоне, доля ошибок превысит единицу.
Обычно её убирают перед подсчётом — иначе цифра станет несравнимой с чужими замерами. Но качество пунктуации важно для чтения, поэтому его измеряют отдельно.
Прямо на этой странице: калькулятор ниже принимает эталонный текст и расшифровку и считает WER и CER в браузере — ничего ставить и никуда отправлять не нужно. Правила приведения текстов те же, что в нашем открытом замере: регистр и пунктуация не учитываются, «ё» равно «е», числа разворачиваются в слова. Вручную то же самое считается по определению: сложить замены, пропуски и лишние слова и поделить на число слов эталона.
Да, на странице открытого замера: 6,91 % ошибок в словах на подготовленной начитке, 7,62 % на спонтанной речи и 12,58 % на записях с бытовых устройств в шуме — последняя цифра посчитана на 353 записях набора из 400, остальные 47 прогон не завершил, и в таблице замера это указано. Там же правила подсчёта, наборы данных и объём — 2398 записей. Одна цифра без правил сравнения бессмысленна: сравнить её будет не с чем.
Страница обновлена 6 октября 2026