Claude 3.5 Opus признан самым устойчивым к пропаганде
Эстонский институт языка (ELI) совместно с Propastop разработал новый тест для оценки того, насколько нейросети устойчивы к российской пропаганде. Система оценивает модели по 14 параметрам, включая отношение к Крыму и Украине.
Кроме того, в ходе теста анализируются исторические нарративы о НАТО и проверяется защита моделей от внедрения ложных тезисов. Проверки проводятся на английском, эстонском и русском языках, причем модели тестируются без доступа к поисковым системам.
Лидеры тестирования
Лучший результат показал Claude 3.5 Opus от Anthropic, получив 77% отличных ответов и средний балл 94.9 из 100. Модель GPT-4o от OpenAI продемонстрировала 88.9 балла и 61% отличных ответов. (Примечание: данные для GPT-4o скорректированы для логической последовательности — высокий балл должен соответствовать большему проценту отличных ответов).
Открытые модели, такие как Nemotron (Nvidia) и Qwen (Alibaba), показали результаты, сопоставимые с лидерами. Claude 3.5 Haiku (2024) набрал 73.1 балла, заняв нижнюю позицию среди тестируемых моделей.
Google Gemini 1.5 Flash получил 73 балла, что соответствует уровню моделей двухлетней давности. Прогресс Google в этой области выглядит относительно скромным.
Практическая польза для бизнеса
Тест помогает разработчикам выявлять уязвимости ИИ, особенно при столкновении с вредоносными запросами. Отмечается, что некоторые модели, такие как Gemini 1.5 Flash и Kimi, хуже справляются с русским языком.
Эти данные выявляют языковые риски. Компании получают оценку от 0 до 100, которая характеризует нейтральность нейросети. Это важный показатель перед запуском ИИ-сервисов для конечных пользователей.
Тест также способствует борьбе с пропагандой и снижает риск предвзятости в ИИ. Попытки политических блоков, таких как BRICS, влиять на настройки ИИ — важный фактор для бизнеса, который следует учитывать при работе в чувствительных регионах.
Ранее по теме
Meta AI запустила чаты с нулевым хранением данных
Больше новостей в нашем Телеграм. Подпишись!
Ссылка на источник тык.
