> For the complete documentation index, see [llms.txt](https://yeasy.gitbook.io/ai_security_guide/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://yeasy.gitbook.io/ai_security_guide/di-yi-bu-fen-ji-chu-pian/03_frameworks/3.2_nist_framework.md).

# 3.2 NIST AI 风险管理框架

美国国家标准与技术研究院（NIST）发布的《AI 风险管理框架》（AI RMF）为组织管理 AI 系统风险提供了全面的指导。本节将介绍该框架的核心内容及其在 LLM 安全中的应用。

## 3.2.1 NIST AI RMF 概述

NIST AI RMF 于 2023 年 1 月正式发布，是美国政府推动负责任 AI 发展的重要举措。该框架旨在帮助组织以结构化的方式识别、评估和管理 AI 系统的风险。 在生成式 AI 方面，NIST 于 **2024 年 7 月 26 日**发布了 **GenAI Profile（NIST AI 600-1）**。官方将其定义为 AI RMF 1.0 的 **cross-sectoral profile** 与 companion resource，用于把 RMF 原则映射到 GenAI 场景（见附录 C-41）。

**框架特点**

* **自愿性**：非强制性标准，可根据组织需求灵活采用
* **技术中立**：适用于各类 AI 技术，包括 LLM
* **全生命周期**：覆盖 AI 系统的设计、开发、部署和运营
* **风险导向**：以风险管理为核心思想

## 3.2.2 NIST AI 600-1 GenAI Profile 要点

**NIST AI 600-1** 不是一套新的独立框架，而是 AI RMF 1.0 在生成式 AI 领域的 profile。公开文本特别强调了四类需要重点关注的 GenAI considerations：

**GenAI 特有的关键管理点**

| 重点 consideration           | 公开资料中的关注点       | 对 LLM 应用的含义          |
| -------------------------- | --------------- | -------------------- |
| **Governance**             | 组织治理、角色责任、风险容忍度 | 明确谁能上线模型、谁审批高风险功能    |
| **Content Provenance**     | 内容来源、标注、可追溯性    | 处理 RAG 来源、合成内容标识、审计链 |
| **Pre-deployment Testing** | 上线前测试与评估        | 红队测试、场景化评估、越狱/泄露测试   |
| **Incident Disclosure**    | 事件记录、通报与响应      | 建立生成式 AI 事故上报和响应流程   |

**AI 600-1 定义的 12 类生成式 AI 风险**

上述四类 considerations 是跨领域的管理重点；AI 600-1 真正的核心贡献，是系统梳理了生成式 AI 特有或被显著放大的 **12 类风险**，并围绕 `GOVERN / MAP / MEASURE / MANAGE` 给出了 200 多条建议动作（见附录 C-41）。下表列出这 12 类风险及其在本书中的对应章节，可直接作为覆盖度自查清单：

| NIST AI 600-1 风险类别 | 含义要点                       | 本书对应                         |
| ------------------ | -------------------------- | ---------------------------- |
| CBRN 信息或能力         | 降低化学、生物、放射性、核武器相关危险信息的获取门槛 | 第 5 章越狱                      |
| 虚构（Confabulation）  | 模型自信地生成虚假或误导性内容（即“幻觉”）     | 7.1.5 幻觉驱动的工具调用              |
| 危险、暴力或仇恨内容         | 生成危险、暴力或仇恨性内容              | 9.2 输出审核、第 5 章越狱             |
| 数据隐私               | 训练数据记忆与提取、个人信息泄露           | 6.4 隐私攻击、8.5 隐私增强技术、9.3 敏感数据 |
| 环境影响               | 训练与推理的算力与能耗成本              | 可持续性议题，本书未展开                 |
| 有害偏见或同质化           | 放大社会偏见、输出趋同                | 第 2 章基础、第 11 章治理             |
| 人机配置               | 过度依赖、自动化偏误、人机协作失当          | 7.6 Rule of Two、第 10 章运营     |
| 信息完整性              | 深度伪造、虚假信息、内容溯源             | 9.4 水印与检测、11.3 深度伪造          |
| 信息安全               | 提示注入、模型提取、越权等安全攻击          | 第 4–8 章（本书攻击与架构主体）           |
| 知识产权               | 训练数据与输出的版权问题               | 第 11 章治理（合规）                 |
| 淫秽、贬损或滥用性内容        | 生成淫秽、贬损内容（含 CSAM/NCII 等）   | 9.2 输出审核                     |
| 价值链与组件集成           | 第三方模型、数据与组件的供应链风险          | 8.6 供应链安全                    |

> AI 600-1 是 AI RMF 1.0 的生成式 AI profile，而非一套独立的固定要求；上表的“本书对应”用于帮助读者建立映射，不代表 NIST 原文的逐条章节绑定。实践中可先用这 12 类风险做覆盖度盘点，再用 `GOVERN/MAP/MEASURE/MANAGE`（见 3.2.4）落实到具体动作。

**Agent 和工具调用场景的补充检查项**

下面这些问题是基于 RMF / AI 600-1 思路整理出的工程化扩展，而不是 NIST 原文逐条规定的检查项：

* [ ] 工具白名单是否已明确定义并绑定到用户/任务角色？
* [ ] 高风险工具（如数据库修改、资金转账）是否启用了 HITL 审批？
* [ ] 是否定期进行“工具链权限提升”的红队测试？
* [ ] 是否建立了工具返回值注入的检测机制？
* [ ] 是否对所接入的插件、连接器和第三方组件进行了来源审查与完整性验证？

## 3.2.3 可信 AI 的特征

NIST AI RMF 定义了可信 AI 系统应具备的七组特征：

```mermaid
mindmap
  root((可信 AI))
    有效性与可靠性
      准确性
      稳定性
      一致性
    安全
      伤害控制
      安全使用
    安全与韧性
      抵御攻击
      故障恢复
    可问责与透明
      责任追溯
      信息披露
    可解释与可理解
      决策依据
      使用理解
    隐私增强
      数据保护
      最小化收集
    公平性
      无歧视
      无偏见
```

图 3-1：可信 AI 的七组特征思维导图

**七组特征说明**

| 特征          | 描述                  | LLM 相关考量           |
| ----------- | ------------------- | ------------------ |
| 有效性与可靠性     | 系统在预期用途下产生稳定、可信结果   | 减少误答，保持输出质量        |
| 安全          | 降低 AI 使用带来的现实伤害     | 高风险任务设置边界与人工复核     |
| 安全与韧性       | 抵御攻击、滥用和异常场景        | 防御提示注入、越狱、故障恢复     |
| 可问责与透明      | 明确责任归属并向利益相关者提供适当信息 | 日志记录、审计追踪、披露 AI 使用 |
| 可解释与可理解     | 让使用者理解系统用途、依据与局限    | 解释模型输出的依据与适用范围     |
| 隐私增强        | 保护个人隐私              | 数据脱敏，访问控制          |
| 公平性及有害偏差可管理 | 系统行为公平并管理偏差风险       | 检测和缓解偏见            |

## 3.2.4 AI RMF 核心功能

NIST AI RMF 定义了四项核心功能。需要注意的是，它们不是严格顺序执行的一次性流水线；其中 **GOVERN** 横跨全生命周期，而 `MAP / MEASURE / MANAGE` 会按具体系统和阶段反复迭代：

| 官方标识符   | 官方英文名   | 本节中文名 | 作用                    |
| ------- | ------- | ----- | --------------------- |
| GOVERN  | Govern  | 治理    | 建立贯穿生命周期的风险管理文化、政策与责任 |
| MAP     | Map     | 映射    | 建立系统、用途、利益相关者与风险上下文   |
| MEASURE | Measure | 测量    | 分析、评估、监控并记录风险         |
| MANAGE  | Manage  | 管理    | 排定风险优先级、实施响应并持续复核     |

> 标识符和英文名来自 NIST AIRC 发布的机器可读 Playbook；本表的版本、来源与章节绑定统一维护在 [`data/framework_crosswalk.json`](https://github.com/yeasy/ai_security_guide/tree/main/data/framework_crosswalk.json)。

```mermaid
flowchart TB
    A["治理<br/>GOVERN"] --> B["映射<br/>MAP"]
    A --> C["测量<br/>MEASURE"]
    A --> D["管理<br/>MANAGE"]
    B --> C
    C --> D
    D --> B

    A --> A1["贯穿设计、开发、部署与运营"]
    B --> B1["识别 AI 系统上下文<br/>评估潜在风险"]
    C --> C1["评估风险程度<br/>监控风险变化"]
    D --> D1["处理已识别风险<br/>实施缓解措施"]
```

图 3-2：AI RMF 核心功能流程图

**治理（GOVERN）** 建立 AI 风险管理的组织基础：

* 制定 AI 政策和治理结构
* 明确角色、责任和权限
* 培养风险意识文化
* 确保必要的资源和能力

**映射（MAP）** 识别和理解 AI 系统的风险上下文：

* 确定 AI 系统的用途和利益相关者
* 识别潜在的风险因素
* 评估风险的范围和影响
* 考虑社会和伦理影响

**测量（MEASURE）** 评估和监控 AI 风险：

* 开发风险评估指标
* 建立基线和阈值
* 持续监控风险状态
* 记录和报告评估结果

**管理（MANAGE）** 处理已识别的风险：

* 制定风险应对策略
* 实施缓解措施
* 监控措施有效性
* 持续改进风险管理过程

## 3.2.5 在 LLM 安全中的应用

将 NIST AI RMF 应用于 LLM 安全，需要结合 AI 600-1 的生成式 AI 场景化建议。更直观的理解方式是：把同一个 LLM 系统依次放进 `GOVERN -> MAP -> MEASURE -> MANAGE` 这四个动作里，确认组织是否真正建立了治理、识别了风险、量化了风险，并把风险闭环处理掉。

例如，对“企业内部文档问答助手”这样一个系统：

* `GOVERN`：定义谁可以接入模型、谁审批高风险功能、哪些数据禁止进入上下文
* `MAP`：识别提示注入、跨租户泄露、供应链和错误信息等主要风险
* `MEASURE`：建立越狱成功率、敏感信息泄露率、误答率等指标
* `MANAGE`：基于这些指标调整权限、过滤策略、人工复核与事件响应流程

下面这些映射是解释性扩展，用来帮助读者把 RMF 套到 LLM 场景中，而不是 NIST 原文逐条列出的固定控制项。

**治理层面**

* 建立 LLM 安全团队和责任体系
* 制定 LLM 可接受使用政策
* 建立安全事件响应流程
* 定期进行安全培训

**映射层面**

* 识别 LLM 应用的攻击面
* 评估各类攻击的可能性和影响
* 考虑监管合规要求
* 评估供应链风险

**测量层面**

* 定义 LLM 安全评估指标
* 建立安全测试程序（如红队测试）
* 监控生产环境中的安全事件
* 追踪安全漏洞和修复情况

**管理层面**

* 实施多层防护措施
* 制定应急响应计划
* 持续更新安全策略
* 与安全社区保持信息共享

## 3.2.6 实施路径建议

下面是一条示例性的实施路径，用来帮助团队从“知道框架”走到“开始落地”；其中时间节奏是经验估计，不是 NIST 官方要求：

**阶段一：启动（1-2 个月）**

* 组建跨职能 AI 安全工作组
* 进行 AI 风险意识培训
* 盘点现有 AI/LLM 系统

**阶段二：评估（2-3 个月）**

* 对现有系统进行风险映射
* 识别高风险领域
* 差距分析：当前状态 vs. 目标状态

**阶段三：实施（持续）**

* 制定风险缓解计划
* 实施优先级措施
* 建立监控和报告机制

**阶段四：成熟（长期）**

* 持续改进风险管理过程
* 与行业最佳实践对齐
* 推动组织文化转变

NIST AI RMF 为 LLM 安全提供了系统化的思考框架。尽管其具体建议相对抽象，但与 OWASP LLM Top 10 等更具体的标准结合使用，可以构建全面的 LLM 安全管理体系。