基于大模型的智能体中由自主性引发的安全风险综述

主要观点总结

大型语言模型（LLMs）推动自主智能体发展，具备感知、推理和行动能力。但自主智能体的发展带来了新型的安全风险，如记忆投毒、工具滥用等。本文综述了智能体自主性如何重塑智能系统的安全格局，并提出了反思性风险感知智能体架构（R2A2）。

关键观点总结

关键观点1: 大型语言模型推动自主智能体发展

自主智能体具备感知、推理和行动能力，能够从动态、开放式环境中获取信息并执行决策。

关键观点2: 自主智能体发展带来的新型安全风险

自主智能体的增强能力引入了新的安全风险，如记忆投毒、工具滥用、奖励操控和涌现性失配等。这些风险超出了传统系统或独立LLM的威胁模型范围。

关键观点3: 智能体安全性的系统分析

本文从智能体架构全栈角度系统分析了相应的安全漏洞，识别出失败模式，并梳理了近年来针对不同自主性层级的防御策略。

关键观点4: 提出反思性风险感知智能体架构（R2A2）

鉴于当前的安全挑战，本文提出了反思性风险感知智能体架构（R2A2），旨在在智能体决策循环中实现系统化、前瞻性安全保障。

免责声明