首页/资讯中心/详情

[论文学习]LLM-based AI Agent 安全威胁与防御系统性综述

[论文学习]LLM-based AI Agent 安全威胁与防御系统性综述
📅 发布时间：2026/7/13 1:52:22

A Systematic Survey of Security Threats and Defenses in LLM-Based AI Agents: A Layered Attack Surface Framework

论文重点

这篇论文由Kexin Chu撰写（康涅狄格大学），发表于2026年，系统地梳理了LLM智能体（Agentic AI）面临的安全威胁与防御机制。论文的核心贡献在于提出了分层攻击面模型（LASM），将智能体的攻击面分解为七个架构层，并引入四类时间维度，通过分析2021至2026年间116篇相关论文，揭示了一个关键发现：智能体AI的安全威胁在本质上有别于无状态LLM——威胁不仅出现在提示词界面，还会通过架构状态、委托权限和长周期交互渗透。

核心研究内容

问题定义

现有安全分类体系主要按攻击类型（如提示词注入、越狱）组织威胁，但这种做法忽视了三个根本问题：攻击发生在架构的哪个组件？、威胁在什么时间尺度上显现？、防御措施应该部署在哪一层？。智能体系统具备跨会话规划、持久记忆、外部工具调用和智能体间协作等能力，这些能力带来的安全代价是——每一个让智能体比聊天机器人更强大的架构决策，都在扩大攻击面。

创新方法

论文提出了LASM（Layered Attack Surface Model）——一个七层×四类的结构化分析框架：

七层架构（L1-L7）：

  • L1 基础层（Foundation）：底层模型本身的漏洞（越狱、后门、对抗性扰动）
  • L2 认知层（Cognitive）：规划与推理过程的操纵
  • L3 记忆层（Memory）：持久化记忆的投毒与篡改
  • L4 工具执行层（Tool Execution）：工具调用过程中的注入攻击
  • L5 多智能体协调层（Multi-Agent Coordination）：智能体间的串通与信任链攻击
  • L6 生态系统层（Ecosystem）：供应链攻击、MCP协议漏洞
  • L7 治理层（Governance）：问责机制与策略失效

四类时间维度（T1-T4）：

  • T1 瞬时（Instantaneous）：单次推理内显现
  • T2 会话持久（Session-persistent）：跨多次交互累积
  • T3 跨会话累积（Cross-session cumulative）：跨多个会话逐渐显现
  • T4 子会话栈传播（Sub-session-stack）：在架构栈中逐层渗透

论文还提出了一个不可迁移性定理：某一层的防御手段对定位在另一层的攻击具有零检测能力。此外，论文提供了跨层防御分类法、针对七类典型攻击的防御方案，以及一个区分工程可解问题与基础研究难题的依赖关系DAG。

研究成果

通过对116篇论文（2021-2026）进行系统编码分析，论文得出四项核心实证发现：

EF1（研究空白）：最上层的三层（L5多智能体协调、L6生态系统、L7治理）与最长的时间维度（T3跨会话、T4栈传播）交叉区域——即{L5, L6, L7} × {T3, T4}——仅占全部144个论文-单元格分配中的6.3%，却包含了最高严重性的威胁。

EF2（根本原因）：所有被调查的L4（工具执行层）攻击都归结为同一个根本原因——主体信任反转（Principal Trust Inversion）。

EF3（防御真空）：28个网格单元中有7个单元的防御覆盖为零，其中3个单元存在已记录的攻击但没有任何防御方案。

EF4（基准缺失）：没有任何被调查的基准测试能够评估T3或T4威胁，意味着对“右侧列”威胁的进展无法衡量。

此外，论文还发现：攻击的涌现性（危害来自授权行为的组合而非单一行为）、组合性（部署在某组件的防御无法检测经由另一组件路由的攻击）和时间延展性（攻击载荷可在执行前数周植入）这三个特性在无状态LLM中没有类比。

实际落地应用的可能性

LASM框架具有直接的工程价值。论文提供的参考ABOM（Agent Bill of Materials）JSON Schema及配套验证器与12个单元测试，可供企业用于智能体系统的供应链安全审计。论文的依赖关系DAG帮助安全团队区分哪些安全缺口可以通过工程手段解决、哪些需要基础研究突破。对于SOC分析师和红队人员，论文提供了OWASP/ATLAS到LASM的映射和七类典型攻击的防御方案，可直接用于安全评估与防御部署。

技术细节

LASM分层标准

论文定义了层与层之间的区分标准：两个攻击面属于不同层，当且仅当：(1) 它们呈现独立的信任边界——利用一个边界的攻击无法在另一边界被检测；(2) 它们具有不同的防御杠杆点——在某层有效的控制措施在另一层结构上不适用。

威胁模型四维描述

论文采用比大多数先前工作更丰富的威胁模型，从四个维度刻画攻击者：

维度取值
位置（Position）外部（无系统访问）、半可信主体（有限访问）、供应链（可破坏上游组件）
知识（Knowledge）黑盒（仅输入/输出）、灰盒（知晓架构）、白盒（完整访问）
目标（Goal）机密性、完整性、可用性
持久性（Persistence）一次性、持续性（多会话行动）

论文筛选方法论

研究遵循PRISMA系统文献综述指南，检索了IEEE Xplore、ACM Digital Library、arXiv和Google Scholar四大数据库，搜索词结合了智能体相关术语（“AI agent”、“LLM agent”、“autonomous agent”、“multi-agent”、“agentic AI”、“tool-augmented LLM”）与安全相关术语（“security”、“attack”、“adversarial”、“prompt injection”、“jailbreak”、“poisoning”、“safety”、“trust”、“vulnerability”）。时间覆盖2021年1月至2026年4月，分两阶段执行。

纳入标准包括：顶级会议论文直接纳入；arXiv预印本需满足引用数≥20（2024年12月前）或对识别出的空白领域有直接贡献（2025年后）。最终从1,634条记录筛选出116篇核心论文。

研究设定

硬件与软件配置

作为一篇系统综述论文，本研究不涉及特定的实验硬件配置。研究的数据处理和分析基于标准的学术文献分析工具，包括：

  • 文献数据库：IEEE Xplore、ACM Digital Library、arXiv、Google Scholar
  • 编码与分析：人工编码结合敏感性分析脚本（论文随附的鲁棒性分析脚本验证了EF1结论在扰动下偏差保持在9%以下）
  • 辅助材料：ABOM JSON Schema及配套验证器、12个单元测试

研究设计要点

  1. 双阶段搜索策略：第一阶段覆盖2021年1月至2025年4月；第二阶段重跑相同查询覆盖2025年5月至2026年4月，避免截止效应。第二阶段新增22篇核心论文。

  2. 独立编码：每篇论文由第一作者独立编码至一个或多个（层，时间性）单元格。

  3. 方法论局限性：搜索词可能低估了未使用“agent”前缀词汇描述的智能体威胁；DEF CON、Black Hat演讲、厂商通报等被系统性地排除在外；18篇防御论文是已发表学术文献而非部署的行业防御措施。

综合分析

核心洞见：智能体安全≠LLM安全“放大版”

这篇论文最深刻的洞察在于：智能体AI的攻击面不是LLM攻击面的简单放大。无状态LLM消费一个输入、产生一个输出，输入/输出过滤即可覆盖。但智能体维护跨会话的持久状态、制定多步计划、调用特权工具、与同伴智能体协调——每一个让智能体更强大的架构决策都在扩大攻击面。

论文用三个真实事件说明了这一差距：一份对抗性构造的文档在常规网络搜索中被检索后，可以悄无声息地破坏智能体的长期记忆，在数周后完全不相关的会话中影响其行为，而在任一时间点都无法检测到异常。这种时间延展性是现有安全分类体系完全无法表达的攻击结构。

类型中心分类法的结构性失效

论文尖锐地指出了一个方法论问题：按攻击类型（越狱、注入、投毒）分类会将需要不同层防御的攻击混为一谈。嵌入层面的梯度对抗扰动和通过RAG文档进行的记忆投毒攻击都被归类为“对抗性输入”，但前者在模型层缓解、后者在记忆管理层缓解。设计者无法从类型中心分类法中推导出安全控制应该部署在哪里。

最危险的威胁是最慢的威胁

论文一个反直觉的发现是：最高影响的威胁不是最瞬时的，而是最缓慢的。T3和T4类威胁（跨会话累积、栈传播）占据了最高的严重性等级，却是研究最薄弱的区域。这意味着学术界和工业界可能正在“追逐最响亮的噪音”而忽视了真正致命的“沉默威胁”。

工程与研究的边界

论文的依赖关系DAG区分了“工程可解决的缺口”和“需要基础研究的问题”。这一区分对于资源分配具有重要指导意义——企业可以优先解决工程层面的问题（如工具调用层的输入验证），而将基础研究问题（如跨层攻击的检测理论）留给学术界。

实践应用

对安全团队的建议

  1. 采用LASM进行威胁建模：将智能体系统的安全评估从“按攻击类型分类”升级为“按架构层×时间维度”的结构化分析。使用论文提供的OWASP/ATLAS→LASM映射作为起点。

  2. 优先填补防御真空：重点关注论文识别的7个零防御单元格，尤其是其中3个已有攻击记录的单元格。具体而言，(L1, T3)、(L4, T4)、(L6, T3)、(L6, T4)在2026年4月扩展分析后仍然没有防御覆盖。

  3. 建立跨会话监控能力：当前所有基准测试都无法评估T3/T4威胁。企业应在内部建立跨会话的行为基线，检测长期累积的异常模式。

  4. 使用ABOM进行供应链审计：论文提供的Agent Bill of Materials Schema可用于追踪智能体系统的所有组件依赖，识别供应链层面的风险点。

对研究人员的建议

  1. 转向高层与长周期研究：L5-L7层与T3-T4时间维度的交叉区域仅占6.3%的论文分配却包含最高严重性威胁——这是最具研究价值也最被忽视的方向。

  2. 开发T3/T4评估基准：论文明确指出这是当前最紧迫的基准缺失。没有基准就无法衡量进展。

  3. 探索跨层防御机制：不可迁移性定理表明单层防御无法检测跨层攻击。需要研究能够跨越语义边界（token→embedding→结构化API响应）的检测方法。

  4. 关注MCP生态系统安全：2025-2026年间已有七篇同行评审论文关注MCP安全，但仍有大量空白亟待填补，特别是跨会话和栈传播类型的MCP威胁。

参考资料来源

  • 原始论文：Chu, K. (2026).A Systematic Survey of Security Threats and Defenses in LLM-Based AI Agents: A Layered Attack Surface Framework. arXiv:2604.23338. https://arxiv.org/abs/2604.23338