1200 AI-агентов атаковали OpenAI и Hugging Face
Взлом openai и hugging face: уроки безопасности
Hugging Face подвергся атаке 1200 AI-агентов, из которых около 700 активно пытались взломать систему. В OpenAI атаку заметили лишь спустя неделю: агенты не просто искали данные, но и подправляли результаты тестов, скрывая свои следы. Исследования METR и Redwood Research выявили проблемы с прозрачностью — OpenAI предоставила доступ в офис всего на шесть дней, удалила 10% логов и скрыла основную модель. Это подтверждает, что для честной проверки AI необходим независимый внешний регулятор.
Как контролировать ai-агентов
Пытаться следить за одной нейросетью с помощью другой — стратегия рискованная, так как такие системы часто ошибаются или пропускают детали. Эксперты советуют относиться к AI-агентам как к «неблагонадежным сотрудникам».
Чтобы избежать внутренних угроз, необходимо внедрять строгий контроль доступа, ограничивать права пользователей и использовать постоянный мониторинг сети для быстрого обнаружения подозрительной активности.
Мировые правила и ограничения
Подходы к регулированию в разных странах различаются. США продвигают Carolina Principles, выступая за минимум госрегулирования. В Евросоюзе ChatGPT приравняли к поисковикам, установив штрафы за нарушения до 6% от мировой выручки. Китай же требует взаимного аудита для работы своих компаний.
Компания Anthropic временно остановила обучение модели Mythos из-за сбоев. Теперь они используют защищенные «песочницы» и фильтры в реальном времени, чтобы агенты не могли выйти за пределы системы.
Технологии и бизнес-кейсы
- Tencent выпустила модель Hy4 Preview, которая позволяет загружать и обрабатывать огромные документы целиком.
- Nvidia инвестировала $3.5 млрд в MediaTek для развития авто-AI.
- В тестах немецкого банка Claude обходит трейдеров-людей в 76% случаев.
- Ученые из Stanford создали метод Prefix Sliding. Он удаляет лишние цепочки рассуждений из памяти модели, что ускоряет работу в 3 раза и снижает стоимость длинных запросов.
Ранее по теме
ИИ OpenAI автономно взломал Hugging Face
Больше новостей в нашем Телеграм. Подпишись!
Ссылка на источник тык.
