Галлюцинации AI ведут к массовым ошибкам в публикациях
Автор книги "Будущее правды: как ИИ меняет реальность" Стивен Розенбаум столкнулся с проблемами, использовав AI для исследований. Это привело к ошибкам, включая вымышленные цитаты, которые издательство обнаружило после проверки фактов. Розенбаум признал просчеты и теперь работает над аудитом цитат для будущих изданий.
Эффективность ai имеет свою цену
AI-инструменты, вроде ChatGPT и Claude, ускоряют исследования, помогая суммировать документы и находить статьи. Однако это создает «ловушку эффективности»: пользователи слишком сильно полагаются на быстрые результаты, считая AI незаменимым, несмотря на ошибки. AI склонен к «галлюцинациям» и часто додумывает факты, игнорируя заданные параметры.
Исследования с помощью AI похожи на езду на мотоцикле – быстро, но рискованно. Классические методы проверки фактов не поспевают за скоростью генерации контента.
Как обеспечить достоверность данных
Нужны новые подходы к проверке информации, полученной с помощью AI. Важно фиксировать источник каждой цитаты и внедрять инструменты для автоматической сверки данных: они должны сравнивать результаты AI с первоисточниками. Новостные и научные организации должны разработать правила использования AI, четко разделяя сбор информации и создание контента.
"двойной скептицизм" – ключ к работе с ai
Основа новой стратегии – «двойной скептицизм»: нельзя считать каждую цитату, найденную AI, правдивой. Каждую из них нужно проверять по первоисточнику. Исследования с AI увеличивают вероятность ошибок, поэтому необходим тщательный человеческий контроль. Это противоречит тенденции сокращения штата редакторов и фактчекеров в компаниях.
Системные проблемы повсеместно
Ошибки AI – не единичные случаи. В СМИ издания, такие как Wired и Business Insider, отзывали статьи, сгенерированные AI. Chicago Sun-Times публиковал фальшивые списки для чтения, а New York Times исправлял резюме, созданные AI. В науке поддельные цитаты стали частыми, и сервер препринтов arXiv ввел политику нулевой терпимости.
Парадокс зависимости от ai
Большие языковые модели (LLM) часто игнорируют команды, переписывая текст вместо точного извлечения. Это опасно для исследователей и юристов. Пользователи знают о рисках, но все равно полагаются на AI из-за значительной экономии времени. Даже после ошибок сложно отказаться от AI, особенно в задачах, требующих рутины — например, при обработке больших документов.
Сам Розенбаум назвал использование AI "опьяняющим и опасным", сравнив это с выбором между велосипедом и мотоциклом: AI – более быстрый, но рискованный вариант.
Ранее по теме
Trackpolicy отслеживает скрытое строительство дата-центров во всем мире
Больше новостей в нашем Телеграм. Подпишись!
Ссылка на источник тык.
