Создан бенчмарк для проверки точности мультиязычного ASR
Разработаны бенчмарк и датасет для оценки систем автоматического распознавания речи (ASR). Они помогают понять, как системы справляются с речью, где происходит переключение языков. Это особенно важно для голосовых помощников в компаниях. У них точная транскрипция предотвращает ошибки.
Как измерить качество
Качество оценивают по трем метрикам: проценту ошибок в словах (WER), точности передачи смысла (SWER) через Gemma-4-31B и уровню понимания (AER), который определяет LLM.
Какие языки и модели проверили
Бенчмарк включает пары языков: испанско-английский, французско-английский, канадский франко-английский и немецко-английский. Протестировали семь моделей ASR: ElevenLabs Scribe V2, AssemblyAI Universal 3-Pro, Google Gemini 3 Flash, Deepgram Nova-3, Mistral Voxtral Small 24B-2507, Nvidia Parakeet TDT 0.6b V3 и OpenAI Whisper Large V3 Turbo.
Главная выгода для бизнеса
Точная транскрипция речи с переключением языков минимизирует ошибки в клиентской поддержке, например, некорректное перенаправление запросов. Это позволяет голосовым помощникам эффективно общаться с клиентами по всему миру. Точная транскрипция обеспечивает корректную работу всех связанных сервисов.
Как создавался датасет
Датасет сгенерировали синтетически, используя внутренние записи HR и IT-разговоров. Тексты с переключением языков создал OpenAI/GPT-5, а аудио синтезировала ElevenLabs Multilingual V2. Лингвисты-носители проверили качество.
Результаты тестирования
Лучшими по точности транскрипции оказались ElevenLabs Scribe V2 и AssemblyAI Universal 3-Pro. Google Gemini 3 Flash показал лучшие результаты в SWER и AER, что говорит о лучшем понимании смысла для последующих задач. OpenAI Whisper Large V3 Turbo оказался последним, часто переводя речь на английский вместо транскрипции.
Что влияет на ошибки
Частота переключений языка в речи и плотность смешения языков (CMI) увеличивают количество ошибок. Они чаще возникали в английских частях речи, возможно, из-за специфической лексики.
Что это значит для бизнеса
Качество распознавания речи с переключением языков — главный индикатор надежности моделей. Лучшие модели показывают лишь незначительное снижение качества. Важно тестировать конкретные языковые пары для вашей аудитории. Рекомендуем использовать режим "автоопределения" при тестировании. Это позволяет приблизить тест к реальным условиям эксплуатации.
Ранее по теме
AI-ассистент Adobe Firefly ускоряет дизайн и обучает пользователей
Больше новостей в нашем Телеграм. Подпишись!
Ссылка на источник тык.
