Создан бенчмарк для проверки точности мультиязычного ASR

Разработаны бенчмарк и датасет для оценки систем автоматического распознавания речи (ASR). Они помогают понять, как системы справляются с речью, где происходит переключение языков. Это особенно важно для голосовых помощников в компаниях. У них точная транскрипция предотвращает ошибки.

Как измерить качество

Качество оценивают по трем метрикам: проценту ошибок в словах (WER), точности передачи смысла (SWER) через Gemma-4-31B и уровню понимания (AER), который определяет LLM.

Какие языки и модели проверили

Бенчмарк включает пары языков: испанско-английский, французско-английский, канадский франко-английский и немецко-английский. Протестировали семь моделей ASR: ElevenLabs Scribe V2, AssemblyAI Universal 3-Pro, Google Gemini 3 Flash, Deepgram Nova-3, Mistral Voxtral Small 24B-2507, Nvidia Parakeet TDT 0.6b V3 и OpenAI Whisper Large V3 Turbo.

Главная выгода для бизнеса

Точная транскрипция речи с переключением языков минимизирует ошибки в клиентской поддержке, например, некорректное перенаправление запросов. Это позволяет голосовым помощникам эффективно общаться с клиентами по всему миру. Точная транскрипция обеспечивает корректную работу всех связанных сервисов.

Как создавался датасет

Датасет сгенерировали синтетически, используя внутренние записи HR и IT-разговоров. Тексты с переключением языков создал OpenAI/GPT-5, а аудио синтезировала ElevenLabs Multilingual V2. Лингвисты-носители проверили качество.

Результаты тестирования

Лучшими по точности транскрипции оказались ElevenLabs Scribe V2 и AssemblyAI Universal 3-Pro. Google Gemini 3 Flash показал лучшие результаты в SWER и AER, что говорит о лучшем понимании смысла для последующих задач. OpenAI Whisper Large V3 Turbo оказался последним, часто переводя речь на английский вместо транскрипции.

Что влияет на ошибки

Частота переключений языка в речи и плотность смешения языков (CMI) увеличивают количество ошибок. Они чаще возникали в английских частях речи, возможно, из-за специфической лексики.

Что это значит для бизнеса

Качество распознавания речи с переключением языков — главный индикатор надежности моделей. Лучшие модели показывают лишь незначительное снижение качества. Важно тестировать конкретные языковые пары для вашей аудитории. Рекомендуем использовать режим "автоопределения" при тестировании. Это позволяет приблизить тест к реальным условиям эксплуатации.

Ранее по теме
AI-ассистент Adobe Firefly ускоряет дизайн и обучает пользователей

Больше новостей в нашем Телеграм. Подпишись!

Ссылка на источник тык.