> For the complete documentation index, see [llms.txt](https://yeasy.gitbook.io/llm_internals/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://yeasy.gitbook.io/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/14_future_trends/summary.md).

# 本章小结

**高效注意力**改的是 softmax 那一步。相似度一旦能拆成两个特征的内积，括号就可以从 $(QK^T)V$ 改打到 $Q(K^TV)$，中间那块从 $\[n, n]$ 缩成 $\[d\_h, d\_v]$，整段历史被压进一个与长度无关的固定状态。两笔账都一边倒：Llama 3 8B 口径下每层 KV 每词元 2048 个数，每层线性状态固定为 524,288 个数，两者在 256 个词元处交叉；解码一步的乘加从 $2nd\_h$ 降到 $2d\_h^2$，100 万词元时相差 8,192 倍。代价写在秩上——`[128, 128]` 的状态至多容纳 128 个线性无关的键，逐字复制与精确定位最先塌。可训练稀疏注意力走的是另一条路，MiniMax Sparse Attention 的主分支理论上降 244 倍，论文报告的每词元注意力计算量只降 28.4 倍，端到端预填充 14.2 倍，三个口径不能混着读。所以落地配方是混合：3:1 交替把 KV 降 75%。

**混合专家模型（MoE）** 把一层 FFN 换成一组并行 FFN，每个词元只走其中几个。DeepSeek-V3 的“671B 总参 / 37B 激活”可以从公开配置一路算出来：一个专家是三个 `[7168, 2048]` 的矩阵共 44.0M 参数，58 个 MoE 层各 257 个专家合 656.5B，每词元只走 9 个即 22.99B。注意力、嵌入与输出头不参与稀疏，它们在激活侧占 14.4B，接近四成，所以“总参 / 激活”之比永远小于“专家数 / Top-K”之比。这笔账的两端分属不同资源：显存按总参算，671B 即使 FP8 也要约 670 GB；算力按激活参数算。训练侧的失效模式是负载坍塌，对策分辅助损失与无辅助损失的偏置调整两类；推理侧的瓶颈则转到专家并行每层两次的 all-to-all，以及小批量下喂不饱的专家 GEMM——V3 每个专家平均只分到全组词元的 1/32，要让它算力受限得每步 4736 个词元。

**状态空间模型**用线性递推替代注意力，把每步开销与已有长度解耦。Mamba 的显存也不是零：同宽口径下每层 SSM 状态 `8192 × 16 = 131,072` 个数，外加 24,576 个数的卷积缓存，与 GQA 的每词元每层 2048 个数在 64 个词元处交叉，状态维加大到 256 时交叉点推到 1024。Mamba-2 的 SSD 说明它与带门控的线性注意力落在同一个数学对象上，两套记号可以互换。**混合架构**是这条线的落点：Qwen3.5-397B-A17B 的 60 层里 45 层线性、15 层全注意力，每词元 KV 从 120 KiB 降到 30 KiB，100 万词元上下文是 29 GiB 对 114 GiB。

**多模态 Transformer** 的第一笔账是一张图变成多少行。LLaVA-1.5 用 CLIP ViT-L/14 @336，一张图 576 行，配一句 8 个词元的问句后视觉侧占 98.8%；InternVL 1.5 按长宽比切块，40 块加缩略图是 10,496 行；按 1 fps 采样的 10 分钟视频是 153,600 行，已经超过多数模型的窗口上限。桥接方案由此分化：线性投影不压缩，Q-Former 与 Perceiver Resampler 把词元数分别钉死在 32 与 64，相邻 patch 合并按四分之一压缩且实现最简单，已成主流。范式上，后接模块训练成本低但视觉能力被编码器封顶，原生多模态从预训练第一步就对齐，代价是跨模态的范数竞争会在 bf16 的表示范围外发散，Chameleon 的对策是 QK-Norm 加层归一化位置调整。

**AI Agent 与工具调用**让 LLM 在宿主系统授权下从被动问答走向受控行动。工具调用在词元层只是一段受约束的结构化输出：约束解码保证形状合法，不保证参数语义正确，也不保证调用被授权。循环起来的成本有三笔，第二笔最反直觉——工具定义按 1 万词元、每轮新增 2048 词元算，30 轮若每轮从头预填充是 125 万词元，前缀缓存全命中只要 6.1 万，相差 20.4 倍，60 轮是 35.4 倍。可靠性则按 $p^k$ 衰减，单步 0.95 跑 20 步只剩 0.358。MCP 把工具集成从两两对接压成一套协议。Agent 对推理引擎的要求也由此确定：前缀缓存命中率是第一位的，引擎并不在工具等待期间挂起请求，每一轮都是前缀更长的新请求。

**推理时计算扩展**把性能瓶颈从训练阶段部分移到推理阶段。它买到的是串行步数：中间生成确实扩展了仅解码器 Transformer 的计算能力，扩展幅度取决于允许生成多少步。代价可以算清：Llama 3 8B 思考 1 万个词元要 160.6 TFLOPs，在 H100 上至少 48 秒，占 1.22 GiB 的 KV，吃的是延迟与缓存池而不是算力。这种能力靠可自动验证的奖励训出来，DeepSeek-R1 的四个阶段给出了完整样本；验证信号本身分 ORM 与 PRM 两路，而 PRM 在大规模 RL 里的收益抵不过它的开销。部署形态因此走向按难度分配预算，而不是一律加厚。

**长上下文技术**把窗口从 2K 推到百万级，接近三个数量级。三笔开销各有算法。计算的平方项要过了一个与宽度成正比的门槛才主导，按 SwiGLU 与 GQA 数出的每层权重项，Llama 3 70B 的门槛是 $12.75d$，即 104,448 个词元。KV 缓存每词元 0.3125 MiB，百万词元要 305 GiB。通信则是序列切开之后才出现的一笔，Ring Attention 的重叠条件简化为“块长不小于算力与带宽之比”，跨节点时要求每卡上万个词元。因果掩码还会让连续分片的最忙一张卡多干 1.75 倍的活，切成 2P 块首尾配对即可配平。Ulysses 的并行度受注意力头数硬约束，与 Ring 互补。有效长度远短于标称长度、Lost in the Middle、注意力稀释，共同说明支持长上下文与用好长上下文是两件事。

**机制可解释性**把问题从“各个部件为什么这样设计”推进到“训练好的权重里究竟学到了什么算法”。起点是一个否定性发现：神经元是多义的，因为特征以近似正交的方向叠加存储：5 个特征挤进 2 维时相邻余弦是 0.309，靠稀疏性与 ReLU 阈值才压得住干扰。稀疏自编码器把这些方向解开成可命名的单义特征，好坏由 L0、解释方差、下游损失恢复率与死特征比例四项指标判定。QK/OV 电路与归纳头给出了上下文学习的机制候选。转码器与归因图把分析从“有哪些特征”推进到“特征之间如何计算”，并用误差节点标出没解释掉的部分。迄今没有任何一个大型 LLM 被完整地、电路级地解释清楚。

**展望**一节把这些线索连起来。幻觉已经有了统计下界（单例率）与电路证据（默认拒答回路的误触发）两条解释；权重记忆的容量约为 2 比特每参数。规模定律的算力项指数只有 0.05，算力翻十倍该项只降 10.9%，这正是推理时扩展受关注的算术背景。

全书到此收束。前十三章回答的是 Transformer 的各个部件为什么这样设计，本章记录的是这些部件正在被改写的地方。要交到读者手里的不是某一代模型的参数表，而是判断下一次架构取舍的依据：一个新方案省掉的是哪一笔账，代价记在哪一栏，以及在什么长度、什么批量、什么任务上这笔交易不再划算。本章每一节给出的算例，都是为了让这三个问题能被算出来而不是被表态。

***

> 📝 **发现错误或有改进建议？** 欢迎提交 [Issue](https://github.com/yeasy/llm_internals/issues) 或 [PR](https://github.com/yeasy/llm_internals/pulls)。