APRA предупреждает банки об опасности ИИ-агентов
Регулятор Австралии, Australian Prudential Regulation Authority (APRA), выпустил предупреждение: финансовые учреждения не справляются с управлением и контролем ИИ-агентов. Проверка, запланированная на конец 2025 года, выявила системные пробелы. Несмотря на повсеместное использование ИИ, управление связанными с ним рисками остается слабым.
Руководства компаний заинтересованы в ИИ для повышения продуктивности и улучшения клиентского опыта. Однако контроль поведения моделей зачастую поверхностный. APRA выделяет несколько ключевых угроз и пробелов.
Существующие системы управления рисками не полностью подходят для ИИ из-за его непредсказуемого поведения и предвзятости. Возникают проблемы с управлением: отсутствуют полные списки используемых моделей, нет четких правил внесения изменений, а ответственность за ИИ часто не определена. Кроме того, существует риск зависимости от одного поставщика ИИ, при этом планы по переходу на другие решения или замене систем проработаны недостаточно.
ИИ сегодня активно применяется в разработке программного обеспечения, сортировке заявок и кредитов, борьбе с мошенничеством, а также в клиентском обслуживании.
Новые угрозы ии
Интеграция ИИ открывает новые векторы киберугроз. Распространены атаки типа "prompt injection", системные интеграции часто небезопасны, а управление доступом для ИИ-агентов нередко слабое.
ИИ генерирует значительные объемы кода, что создает дополнительную нагрузку на стандартные процессы управления изменениями. APRA предписывает строгий контроль привилегированного доступа, правильную конфигурацию систем и систематическое проведение обновлений.
Тестирование безопасности кода, созданного ИИ, обязательно. Важные решения должны приниматься с участием человека, чтобы снизить риск сбоев ИИ. Индустрия активно разрабатывает новые стандарты для обеспечения безопасности.
Развитие стандартов
FIDO Alliance сформировал рабочую группу по аутентификации для ИИ, поскольку старые методы неэффективны для агентов. Группа работает над протоколами для коммерции, позволяющими подтверждать, кто или что разрешает определенные действия.
В этом помогают такие инструменты, как Google Agent Payments Protocol и Mastercard Verifiable Intent. Центр Интернет-безопасности (CIS) выпустил руководства по безопасности ИИ. CIS Controls v8.1 были адаптированы для ИИ и включают рекомендации по безопасности промптов, защищая от утечек данных в LLM, управляя доступом к инструментам и нечеловеческими идентификаторами.
Также предусмотрены рекомендации по Model Context Protocol (MCP) и сетевому управлению для ИИ-агентов.
Ранее по теме
Meta AI: 10 млн диалогов, рост рекламы и новая модель Muse Spark
Больше новостей в нашем Телеграм. Подпишись!
Ссылка на источник тык.
