GPT-Red находит уязвимости в ИИ эффективнее людей
OpenAI создала GPT-Red — инструмент для автоматического поиска уязвимостей в других нейросетях. Он борется с prompt injection, когда скрытые команды в файлах или почте заставляют AI выполнять запрещенные действия. Теперь проверка безопасности проходит со скоростью машин, а не людей.
Автоматическая тренировка защиты
Система обучается через «игру с самим собой»: GPT-Red выступает в роли хакера и атакует группу моделей-защитников. Хакер получает награду за успешный взлом, а защитник — за блокировку. Так AI постоянно находит новые способы обхода защиты. Для ускорения этого процесса OpenAI выделила огромные вычислительные мощности.
Уязвимости и реальные тесты
GPT-Red обнаружил метод fake chain of thought, который внедряет ложную информацию в рабочую память модели. В результате AI начинает доверять ошибкам (например, что 1+1=3).
Эффективность софта подтвердили тесты на Project Vendy от Andon Labs (умный торговый автомат): GPT-Red перехватил управление, отменял заказы и снижал цены до 50 центов.
Цифры и устойчивость
GPT-Red работает значительно эффективнее людей и старых моделей:
- Взломал старую версию GPT-5 в 90% случаев.
- Пробил защиту GPT-5.6 менее чем в 23% попыток.
- В тестах 2025 года AI справился в 84% сценариев, тогда как люди — лишь в 13%.
Благодаря таким тренировкам GPT-5.6 стала самой защищенной моделью от prompt injection.
Ограничения и риски
OpenAI не открывает доступ к GPT-Red, чтобы злоумышленники не создали «супер-хакера». Инструмент используется только внутри компании для улучшения будущих версий.
Однако у системы есть слабые места: она плохо справляется с затяжными атаками в формате диалога и не видит скрытые команды в изображениях, поэтому помощь живых экспертов все еще необходима.
Ранее по теме
ChatGPT Work автоматически сортирует файлы на компьютере
Больше новостей в нашем Телеграм. Подпишись!
Ссылка на источник тык.
