> For the complete documentation index, see [llms.txt](https://yeasy.gitbook.io/ai_security_guide/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://yeasy.gitbook.io/ai_security_guide/fu-lu/16_appendix/13.2_extensions.md).

# 架构防御拓展：研究脉络与策略实现

本篇补充 [13.2](https://yeasy.gitbook.io/ai_security_guide/di-si-bu-fen-zhi-neng-ti-an-quan-pian/13_agent_architecture/13.2_architectural_defenses.md) 的实现细节与理论背景。可按需要查阅模型内分离的证据、CaMeL 的研究实现、经典信息流模型与 CAS 的相关讨论；邮件外发策略的完整 Rego 版本及回归用例见文末。

### 模型内分离指令与数据

对话模型经后训练学会按人的请求执行任务；对话模板虽用特殊 token 区分系统、用户、工具等消息，训练却没有让模型按来源区分优先级，自然语言本身也没有强制区分指令与数据的语法。进入智能体场景后，网页、邮件、工具返回与用户请求拼接在同一段上下文中，注入由此成功。OpenAI [提出指令层级](https://arxiv.org/abs/2404.13208)时，把这类攻击的根源归结为指令没有权限之分：模型往往把开发者的系统提示与来自不可信用户、第三方的文本当作同一优先级（附录 C-351）。

最直接的思路是在模型内部分开两者，[4.5](https://yeasy.gitbook.io/ai_security_guide/di-er-bu-fen-gong-ji-pian/04_prompt_injection/4.5_injection_defense.md) 的分隔符、聚光标记、指令层级与结构化查询训练都属于这一方向。一项专门度量模型能否区分指令与数据的研究（[SEP](https://arxiv.org/abs/2403.06833)，附录 C-339）发现，所测模型的区分能力普遍不高，同一家族里更大的模型也不更强；用微调把区分能力推到九成以上，SEP 的效用指标会下降约两成。作者推测，解决这一问题可能需要从模型架构这类根本改动入手。

随后的工作直接改动模型：给系统指令、用户输入和数据各加一种身份嵌入（[ISE](https://arxiv.org/abs/2410.09102)，附录 C-340），或把数据 token 的嵌入整体旋转，让模型在表示空间里就能区分两者（[ASIDE](https://arxiv.org/abs/2503.10566)，附录 C-341）。ASIDE 报告区分能力明显提高而效用不降，但只在单轮、指令与数据角色明确的设定下评估，没有做自适应攻击测试；ISE 的作者则承认它对越狱一类自适应攻击的鲁棒性有限。

面向智能体的训练也在继续：[Meta-SecAlign](https://arxiv.org/abs/2507.02735) 为不可信数据新增了一个专门的输入角色，[IH-Challenge](https://arxiv.org/abs/2603.10521) 用对抗式强化学习训练指令层级（[附录 C-106](https://yeasy.gitbook.io/ai_security_guide/fu-lu/16_appendix/c_references.md)、C-12）；训练类防御在自适应攻击下的落差见 [4.5.11](https://yeasy.gitbook.io/ai_security_guide/di-er-bu-fen-gong-ji-pian/04_prompt_injection/4.5_injection_defense.md)。

模型层的分离很难成为边界，原因在于：

* **没有“不可执行位”**。CPU 禁止执行数据区的 NX 位由硬件强制；模型里的分隔符、身份嵌入再精巧，也只是输入的一种特征，模型服从它是训练出来的倾向，攻击者可以针对它优化。这是用概率的部分去管概率的部分。
* **分开的前提是知道哪段是数据**。这类方法都假定部署方已标明哪部分是数据。外部内容由代码取回，可以由代码标注；难点在于模型读过不可信内容之后自己写出的计划、摘要和中间结论：它们属于指令还是数据，标签应由谁标注。若由代码标注，就回到了系统层的来源标记。
* **有些任务本来就要求按数据行事**。“执行这封邮件里的待办”、编码智能体按仓库里的 AGENTS.md 工作，都要求把数据当作指令。对这类任务，任何一层的“分开”都不能解决问题，此时需要回答的是哪些来源有权下达指令，即授权问题（见[任务要求由数据决定动作](https://yeasy.gitbook.io/pages/ZlDKBIcDrp7A7CtRyBqw#%E9%9A%BE%E7%82%B9%E4%B8%80%E4%BB%BB%E5%8A%A1%E6%9C%AC%E8%BA%AB%E8%A6%81%E6%B1%82%E7%94%B1%E4%B8%8D%E5%8F%AF%E4%BF%A1%E6%95%B0%E6%8D%AE%E5%86%B3%E5%AE%9A%E4%B8%8B%E4%B8%80%E6%AD%A5)）。

英国国家网络安全中心的文章[提示注入不是 SQL 注入](https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection)（附录 C-342）认为，现有几类研究方向都是在一项本来不区分指令和数据的技术上强加这对概念；该文主张把大模型看作“天生容易被混淆的代理”（inherently confusable deputy），转而从设计上约束系统能执行的动作，并把 CaMeL 列为这一方向的早期代表。可见，参数化查询的类比只在系统层成立，在模型内部不成立。

### CaMeL 的研究实现与成本

[主文执行示例](https://yeasy.gitbook.io/pages/ZlDKBIcDrp7A7CtRyBqw#%E6%89%A7%E8%A1%8C%E8%BF%87%E7%A8%8B%E7%A4%BA%E4%BE%8B)只展示了检查点。论文对各部件的实现如下：

* **隔离模型的输出**。隔离模型没有任何工具，借助模型厂商提供的结构化输出功能，把非结构化数据解析成事先规定结构的数据。结构由特权模型在程序中以 Pydantic 的 `BaseModel` 写明。解释器还会额外注入一个布尔字段 `have_enough_information`，隔离模型用它表示所给信息不足以完成任务；该字段为假时，解释器抛出 `NotEnoughInformationError`，由特权模型改写程序。隔离模型不能告诉特权模型缺少什么信息，因为这段说明本身就可能夹带注入。
* **能力标签的内容**。论文的实现为每个值记录来源和读者集合。来源分三类：用户，指特权模型所写程序中的全部字面量；CaMeL，指执行过程中各种变换的结果；某个工具，以唯一标识区分。工具还可以标出数据在工具内部的来源，例如读邮件的工具把发件人标为内部来源，云盘工具把文档的编辑者写入来源。读者集合或者是 `Public`（所有人可读），或者是一组用户，例如以邮箱地址标识。
* **解释器**。解释器用 Python 的 `ast` 库解析程序并逐个节点解释，只接受 Python 的一个受限子集。执行时它记录每个变量的依赖，例如 `c = a + b` 中 `c` 依赖 `a` 与 `b`；检查策略时，递归展开该变量的整张依赖图。程序出错时，解释器把异常位置和类型交给特权模型修正，最多提示 10 次；如果异常依赖不可信数据，异常内容会被隐去，特权模型只知道发生了隐去。
* **策略**。策略写成 Python 函数，输入工具名和参数，返回 `Allowed` 或 `Denied` 以及理由。作者没有另设策略语言，是为了能在策略中写任意逻辑。论文给出的日历策略即是一例：日程的标题、描述等数据必须能被所有参与者读取；如果参与者全部来自可信来源，例如由用户直接给出，即使这些内容此前未与他们共享，也允许创建。

代码已随论文公开（[google-research/camel-prompt-injection](https://github.com/google-research/camel-prompt-injection)），评测所用的全部策略也在其中。仓库声明它是用于复现论文结果的研究制品，解释器可能有缺陷，实现未必完全安全，作者不打算维护。因此它适合作为设计参考，不能直接当作生产组件。

动手验证：配套的[邮件助手实验](https://yeasy.gitbook.io/ai_security_guide/fu-lu/16_appendix/mail_assistant.md)用 Python 标准库实现了这套机制的简化版：值存储中的每个值带来源与读者集合，派生值的来源取并集、读者取交集，阅读者替身只能交回 `summary` 与 `category` 两个字段。运行 `python3 examples/mail_assistant/lab.py`，`attack_data_exfiltration` 案例的 `policy` 事件显示正文同时依赖外部邮件与私有文档，判定为 `ASK`；加 `--disable metadata` 后，替身自报的读者集合被采信，`attack_model_metadata_forgery` 案例把私有文档标记发给了 Bob。

#### 效用与成本

在 AgentDojo 基准上，CaMeL 在提供可证明安全性的前提下完成了 77% 的任务，而无防御系统为 84%。这组数字展示了该评测设置下的效用代价。按 CAS 原理（[11.5](https://yeasy.gitbook.io/ai_security_guide/di-si-bu-fen-zhi-neng-ti-an-quan-pian/11_agent_foundations/11.5_cas_principle.md)）分析，在论文对 Claude 3.5 Sonnet 失败任务的分类中，由数据决定动作的 5 例是 CaMeL 为安全放弃的通用性；更多失败来自工程原因，仅接口文档不全一类就有 13 例。评测中违反策略的调用被直接拦截，论文说明实际部署时改为请求用户确认，此时放弃的是自主性。

成本方面，跟踪数据来源本身几乎不增加计算，代价在于 token：受攻击条件下（以 Claude 3.5 Sonnet 为底座），中位任务的输入与输出 token 约为原生工具调用的 2.82 倍与 2.73 倍，其中包括描述其编程语言的系统提示，以及规划模型修正代码错误时的重复调用。

### 动态污点分析与完整性模型

#### 与动态污点分析的对应

这一思路的源头是二进制程序的**动态污点分析**。2005 年的 [TaintCheck](https://valgrind.org/docs/newsome2005.pdf)（附录 C-338）把来自网络等不可信来源的数据标为污点，跟踪它在程序运行中的传播，一旦带污点的数据被用作跳转目标或格式化字符串，就判定为攻击。迁移到智能体上，三个部件一一对应：污点源是 \[A]（[11.2](https://yeasy.gitbook.io/ai_security_guide/di-si-bu-fen-zhi-neng-ti-an-quan-pian/11_agent_foundations/11.2_threat_model.md) 的来源总表中他人编写的各类内容，含用户转交的他人内容），汇点是工具调用，传播由代码跟踪。差别主要在两处：

* **一次模型调用整体染色**。模型只要读过带污点的输入，它的输出就整体带污点。改写、总结之后恶意意图还剩多少，既无法判断也不需要判断，因此不能用另一个模型“追踪语义”，否则又回到了概率性检测。
* **去污更保守**。TaintCheck 允许数据经过合法性检查后直接去掉污点；在智能体里，校验只是把输出收窄为取值有限的获准标量（见[双 LLM 模式](https://yeasy.gitbook.io/pages/ZlDKBIcDrp7A7CtRyBqw#1322-%E5%8F%8C-llm-%E4%B8%8E%E8%AE%BE%E8%AE%A1%E6%A8%A1%E5%BC%8F)）再交给规划，来源标记照旧保留，放行与否仍由工具调用前的策略判定。FIDES 的作者也指出，放宽为接受这类值的策略等于为不可信数据背书，应慎用。由模型改写一遍更不构成去污。

还有一处取舍无法在智能体中沿用。二进制上的污点分析通常不跟踪控制依赖，TaintCheck 即不跟踪条件标志位，理由是不可信数据影响分支本属正常。而规划模型的上下文就是控制流：它一旦读入带污点的内容，此后的高影响动作都会被策略拦截。FIDES 的选择性隐藏针对的正是这一点：只把会改变上下文标签（机密性或完整性）的数据存入变量、不放入上下文，上下文因此保持干净，数据仍可按变量名引用。

#### 模块级染色与完整性模型

把“一次模型调用整体染色”推广到整个系统，就得到**模块级染色**，即完整性模型中的一条经典规则：读过不可信数据的模块，此后的全部输出都不可信。Biba 的完整性模型称之为主体低水位策略：主体读入低完整性数据后，自身等级降为两者中较低的一个（[附录 C-343](https://yeasy.gitbook.io/ai_security_guide/fu-lu/16_appendix/c_references.md)）。LOMAC 把它实现为 Linux 内核模块，高等级进程一旦读入低等级文件，就被降为低等级，此后不能再修改高等级文件（附录 C-345）。对智能体而言，按这条规则不必判断语义；模块内由污点决定的分支也随之被覆盖，前文所说的控制依赖不必单独跟踪（时序、异常一类侧信道除外）。应用这条规则时需补充三点：

* **标签跟着副作用落盘**。模块的输出不只是它发出的消息，还有它写入的记忆、文件、缓存、检索索引和代码提交，这些都要带上标签，否则污染会跨会话被洗白（[12.3](https://yeasy.gitbook.io/ai_security_guide/di-si-bu-fen-zhi-neng-ti-an-quan-pian/12_agent_attack_surface/12.3_memory_poisoning.md)）。编码智能体读过一个不可信的 Issue 之后写出的提交，也应按不可信对待。
* **机密度的方向相反**。可信度取所有输入中最低的，机密度取最高的：读过机密数据的模块，输出也按机密处理，否则数据会经它流出。
* **标签只是闸的输入**。染色本身不拦截，是否拦截由工具调用前的策略按来源与可逆性判定。委托人本人写的任务请求不染色：它规定任务本身，是策略要保护的意图。经上传、转发等通道进入的他人内容照常染色；直接粘贴进输入框的文字无法与本人所写区分，只能由权限与确认限制后果。智能体权限超出用户本人时，用户输入整体染色，策略只放行不超出该用户本人权限的动作。

这条规则的代价是污染随使用不断累积：标签只降不升，低水位模型从一开始就有这个问题。CaMeL 的严格模式把分支条件记为块内所有赋值的依赖；在没有攻击时，它的总体策略触发率从普通模式的 33.87% 升到 53.23%（[附录 C-97](https://yeasy.gitbook.io/ai_security_guide/fu-lu/16_appendix/c_references.md)）。经典模型给出的应对办法，大多在本节有对应：Biba 的严格完整性策略禁止高完整性主体读取低完整性数据，即双 LLM 模式中规划模型不读外部内容；只持有引用、不读内容，即[主文 FIDES](https://yeasy.gitbook.io/pages/ZlDKBIcDrp7A7CtRyBqw#%E4%BF%A1%E6%81%AF%E6%B5%81%E6%8E%A7%E5%88%B6fides) 的选择性隐藏与 [14.2](https://yeasy.gitbook.io/ai_security_guide/di-si-bu-fen-zhi-neng-ti-an-quan-pian/14_agent_practice/14.2_security_panorama.md) 的不透明值；换一个干净的主体，即开新会话，被染色的上下文只能丢弃，无法清洗，新会话读入的记忆仍按原标签处理。

唯一不能照搬的是 Biba 的环策略和 LOMAC 的“可信程序”：它们认定某些主体能正确处理低完整性输入，因而不被降级；模型不能享受这种豁免。对于什么有资格把不可信数据转为可信数据，Clark-Wilson 模型的回答是：凡接收未受约束数据的转换过程，都必须经过认证，保证对该数据的任何可能取值要么只做合法转换、要么不做转换，结果要么是受约束数据，要么被拒绝（[附录 C-344](https://yeasy.gitbook.io/ai_security_guide/fu-lu/16_appendix/c_references.md)）。模型无法获得这种认证，校验枚举、类型与范围的代码可以获得；本书的做法更保守一步：校验只收窄取值，来源标记照旧保留（见本篇“去污更保守”）。

### CAS 与相关研究的边界

以下比较沿用 [11.5](https://yeasy.gitbook.io/ai_security_guide/di-si-bu-fen-zhi-neng-ti-an-quan-pian/11_agent_foundations/11.5_cas_principle.md) 对通用性、自主性与安全性的定义。

对这类取舍已有一些非形式化的讨论。Willison 的致命三要素指出三种能力不应同时具备（[附录 C-99](https://yeasy.gitbook.io/ai_security_guide/fu-lu/16_appendix/c_references.md)）；设计模式论文认为，在当前模型下通用智能体难以给出有意义且可靠的安全保证（附录 C-96）；Raghavan 与 Schneier 提出“快、聪明、安全只能取其二”，其中“安全又快就只能用能力受限的模型”一句最接近本原理（附录 C-346）；Abdelnabi 与 Bagdasarian 非形式地论证，没有哪条固定策略能挡住所有基于语境的攻击而不误拦正常的信息流（附录 C-349）；一篇 2025 年的网络文章还提出过“通用性、能动性、对齐只能取其二”的猜想，讨论的是一般意义上的对齐（附录 C-350）。

Oso 提出“接入能力、自主、权限只能取其二”，并认为可以靠自动收窄权限打破这一取舍（[附录 C-347](https://yeasy.gitbook.io/ai_security_guide/fu-lu/16_appendix/c_references.md)）；按 CAS 原理分析，按会话收窄权限正是按任务限定后果。形式化的结果则只覆盖某一类机制，例如只针对输入预处理包装器的防御三难（附录 C-348）。CAS 原理与这些工作的不同在于：以任务范围定义通用性，以强制执行的后果范围定义安全性，并把每种取舍落实到[主文所列机制](https://yeasy.gitbook.io/pages/ZlDKBIcDrp7A7CtRyBqw#%E9%9A%BE%E7%82%B9%E4%B8%80%E4%BB%BB%E5%8A%A1%E6%9C%AC%E8%BA%AB%E8%A6%81%E6%B1%82%E7%94%B1%E4%B8%8D%E5%8F%AF%E4%BF%A1%E6%95%B0%E6%8D%AE%E5%86%B3%E5%AE%9A%E4%B8%8B%E4%B8%80%E6%AD%A5)。

### 邮件外发策略：Rego 与回归测试

[主文的邮件外发策略](https://yeasy.gitbook.io/pages/ZlDKBIcDrp7A7CtRyBqw#%E7%AD%96%E7%95%A5%E7%A4%BA%E4%BE%8B%E9%82%AE%E4%BB%B6%E5%A4%96%E5%8F%91)用 Rego（OPA 1.0 的 v1 语法）表示如下。两者的差别只在载体：Python 版由 Harness 直接调用，Rego 版由 Harness 把事实整理成 `input` 交给 OPA 求值，再按返回的 `decision` 执行。两种写法里，`to`、`contents`、`ctx` 都由代码填写，模型只能提出请求（[13.5.1](https://yeasy.gitbook.io/ai_security_guide/di-si-bu-fen-zhi-neng-ti-an-quan-pian/13_agent_architecture/13.5_tooling_selection.md)）：

```rego
package agent.tools.send_email

default decision := "ASK"

# 规则 1：会话中读过不可信内容后，对外发送受频率限制
decision := "DENY" if rate_limited

# 规则 2：收件人本来就有权读取将要发出的全部内容（正文与附件）
decision := "ALLOW" if {
    not rate_limited
    every item in input.contents {
        input.to.value in item.readers
    }
}

# 规则 3：用户选定地址，且每份内容均由用户提供或获准披露给此人
decision := "ALLOW" if {
    not rate_limited
    input.to.provenance == "USER_PROMPT"
    every item in input.contents {
        user_disclosure_authorized(item)
    }
}

user_disclosure_authorized(item) if item.provenance == "USER_PROMPT"

user_disclosure_authorized(item) if input.to.value in item.disclosure_grants

rate_limited if {
    input.ctx.tainted
    input.ctx.sends_in_session >= input.ctx.max_sends_when_tainted
}
```

主文要求“为每条策略配上应被拦截的用例和应被放行的用例”，在 OPA 中即同一目录下的测试文件，`opa test` 会在每次策略变更时运行。下面前三条依次是：一条攻击链的形态（地址出自工具结果、会话已被污染并达到发送上限）；一个正常请求（收件人本来就有权读取全部内容）；以及两条规则的交界（收件人有权读取，但会话已达上限，频率限制必须优先）。后三条验证地址与内容授权的区别：用户指定地址仍不能外发未共享文档；用户自己提供的提醒可以自动发送；明确获准披露的内容也可以自动发送：

```rego
package agent.tools.send_email_test

import data.agent.tools.send_email

test_deny_tainted_over_limit if {
    send_email.decision == "DENY" with input as {
        "to": {"value": "outside@unknown.example", "provenance": "TOOL_RESULT"},
        "contents": [{"readers": ["alice@corp.example"]}],
        "ctx": {"tainted": true, "sends_in_session": 3, "max_sends_when_tainted": 3},
    }
}

test_allow_recipient_can_read_all if {
    send_email.decision == "ALLOW" with input as {
        "to": {"value": "alice@corp.example", "provenance": "TOOL_RESULT"},
        "contents": [{"readers": ["alice@corp.example", "bob@corp.example"]}],
        "ctx": {"tainted": true, "sends_in_session": 0, "max_sends_when_tainted": 3},
    }
}

test_rate_limit_wins_over_readers if {
    send_email.decision == "DENY" with input as {
        "to": {"value": "alice@corp.example", "provenance": "TOOL_RESULT"},
        "contents": [{"readers": ["alice@corp.example"]}],
        "ctx": {"tainted": true, "sends_in_session": 3, "max_sends_when_tainted": 3},
    }
}

test_user_address_does_not_authorize_document if {
    send_email.decision == "ASK" with input as {
        "to": {"value": "bob@outside.example", "provenance": "USER_PROMPT"},
        "contents": [{"readers": ["alice@corp.example"], "provenance": "TOOL_RESULT", "disclosure_grants": []}],
        "ctx": {"tainted": false, "sends_in_session": 0, "max_sends_when_tainted": 3},
    }
}

test_allow_user_supplied_reminder if {
    send_email.decision == "ALLOW" with input as {
        "to": {"value": "bob@outside.example", "provenance": "USER_PROMPT"},
        "contents": [{"readers": [], "provenance": "USER_PROMPT", "disclosure_grants": []}],
        "ctx": {"tainted": false, "sends_in_session": 0, "max_sends_when_tainted": 3},
    }
}

test_allow_explicit_content_disclosure if {
    send_email.decision == "ALLOW" with input as {
        "to": {"value": "bob@outside.example", "provenance": "USER_PROMPT"},
        "contents": [{"readers": ["alice@corp.example"], "provenance": "TOOL_RESULT", "disclosure_grants": ["bob@outside.example"]}],
        "ctx": {"tainted": false, "sends_in_session": 0, "max_sends_when_tainted": 3},
    }
}
```

这组用例还能验证策略本身是否正确：把规则 1 的 `>=` 误写成 `>`，第一条和第三条用例失败；把规则 3 改回只检查用户地址，第四条用例失败；把规则 2 的 `not rate_limited` 删掉，第三条用例会让 DENY 与 ALLOW 同时成立，OPA 报出“complete rules must not produce multiple outputs”的冲突错误，而不会静默地选择其一。第三条用例不可省略：只有前两条时，这个错误不会被任何用例触发。

Cedar 的 `permit` 与 `forbid` 只有两种结果，表达同一策略时可把“未被任何 `permit` 覆盖”映射为 ASK，由 Harness 转人工（[13.5.1](https://yeasy.gitbook.io/ai_security_guide/di-si-bu-fen-zhi-neng-ti-an-quan-pian/13_agent_architecture/13.5_tooling_selection.md)）。
