14.9 未来展望
前面八节各自收在一处具体机制上。本节退开一步，把它们连成几条尚未收口的线：哪些问题已经有了机制解释、哪些还只有经验规律、哪些是本书作者的判断而非结论。
快照说明：本章涉及模型版本、基准分数、上下文窗口和产品能力的内容都属于高波动信息。用于理解技术趋势时可参考，做生产选型或采购预算时应以附录 A.5 的核验表、官方模型页、价格页和评测报告为准。
本章的作者立场是：未来几年的主线不会是单一架构替代 Transformer，而是围绕推理时计算、记忆形态、成本效率与可控行动的系统工程重组。下面几小节里，凡属判断而非引证的地方都会点明。
14.9.1 推理与行动：两处已经发生的质变
近一轮最显著的进展不在参数规模，而在两处。一是推理时计算扩展（14.6 节）从研究方案变成产品形态，模型可以按请求决定思考多久。二是模型从“只说不做”走向受控的工具协作（14.5 节）：在宿主授权与安全边界内调用代码执行、浏览器、文件与 MCP 工具。
由此推出的判断是，竞争点会从“模型能不能推理”转向“系统何时值得花钱推理”。14.6.2 的那笔账给了它具体形状：在 Llama 3 8B、BF16、H100 单卡单请求的逐词元解码假设下，生成 1 万词元的权重带宽粗估约为 48 秒，新增 KV 约占 1.22 GiB。前者不是延迟下界，投机解码、并行方式与缓存读取都会改变结果；后者也随模型结构和缓存精度变化。成熟系统需要在任务难度、风险等级与用户价值之间分配预算。
14.9.2 效率与规模：省下来的会被花掉
MoE（14.2 节）让更大容量的模型在合理成本下可训，SSM 与混合架构（14.3 节）降低长序列成本，量化从训练后走向原生低精度训练。
这里最容易被误读的是“效率技术会自动带来更便宜的智能”。更准确的判断是：效率改进会先被用来扩大可用能力边界，然后才部分转化为降价。更长的上下文、更高的并发、更深的推理、更多的模态，都是先变得经济可行，再谈单价。
因此评价一项效率技术不能只问它是否更快，还要问三件事：它降低的是训练成本、推理延迟、显存占用还是单位词元成本？它是否需要特殊硬件、内核或调度器才能兑现收益？它会不会把复杂度转移到路由、缓存管理或监控体系中？
14.9.3 多模态的原生化
下一阶段的基础模型不再是“文本模型加视觉插件”，而是从设计之初就统一理解与生成多种模态（14.4 节）。
真正困难的部分不在于让模型接收图片、音频或视频，而在于跨模态保持一致的世界模型：同一对象在文本描述、截图、语音指令与工具状态之间应当指向同一个语义实体。差距更可能体现在长时间一致性、空间与时间推理、工具闭环和错误恢复上，而不是单张图片问答的演示效果。
14.9.4 幻觉：一个有下界的统计问题
幻觉曾长期被当作神秘现象。两条线索已经把它拉回可分析的范围，一条统计，一条电路。
统计一侧给出了下界。 Why Language Models Hallucinate 把生成任务归约到一个二分类问题：判断“这是不是一个有效的模型输出”。生成比这个是非题更难，因为生成隐含地要对每个候选回答作出这一判断。由此，预训练阶段的错误率可以用训练语料本身的一个统计量卡住下界：单例率（singleton rate），即在训练数据中恰好出现一次的事实所占的比例。这个量沿用了 Turing 的缺失质量估计：只出现一次的样本比例，正是尚未出现的事件所占概率的估计。
该文举的例子可以直接引用：如果 20% 的生日事实在预训练数据中只出现过一次，那么基座模型在生日这类问题上的幻觉率至少是 20%。这条结论的分量在于它不是工程缺陷，而是校准的语言模型在这种数据上的必然结果：语料里没有可学的模式，模型又被要求给出流畅的答案。
该文对幻觉为何在后训练之后仍然存在给出的解释同样值得记住：多数评测按二元评分，答对得分、答错和弃答都是零分，于是不确定时猜一个严格优于承认不知道。模型被优化成好的应试者。它给的对策也因此不是再加一个幻觉评测，而是改掉主流榜单的评分方式。
电路一侧给出了对应的机制。 Anthropic 的 On the Biology of a Large Language Model 用 14.8.5 的归因图在 Claude 3.5 Haiku 上找到一条“默认拒答”回路：模型默认激活一组“答不上来”的特征；被问到它确实了解的事物时，另一组表示已知实体的特征把这组默认特征抑制掉，模型才给出信息性回答。该文的说法是，至少一部分幻觉可以归因于这条抑制回路的误触发。例如被问到某位作者写过哪些论文时，即使模型并不掌握这位作者的具体论文，也可能激活那些“已知答案”特征。
两条线索指向同一个工程结论：幻觉不会被某一个训练技巧一次性解决。现实的路径是分层治理：模型层减少胡编倾向，系统层提供可验证上下文（RAG、工具返回值），产品层限制高风险自动化，运营层保留审计与纠错通道。把幻觉当作单点算法缺陷，会低估它与数据、评测和产品责任之间的耦合。
14.9.5 知识住在哪里：上下文记忆与权重记忆
模型的知识载体分两类。
上下文记忆存在于每次推理的输入序列中，即取即用、可动态扩展，推理结束即消失。它的成本要分开说：KV 显存随长度线性增长，注意力计算在超过一个与模型宽度成正比的门槛之后按平方增长（Llama 3 70B 是 $12.75d$，见 14.7.1 节），两者不是同一条曲线。
权重记忆固化在参数里。前馈网络的权重可以看作一个巨大的键值存储（3.4 节）：$W_1$ 的行向量是“键”，$W_2$ 对应的列向量是“值”。模型发布的那一刻权重记忆就冻结了。
权重记忆能装多少，Physics of Language Models 3.3 提供了一条受控实验规律：在其事实数据、模型和充分训练的设置下，可提取的知识量约为 2 比特每参数，int8 量化后也能保持这一量级。按该比例外推，7B 参数对应 140 亿知识比特，约合 1.63 GiB；这里计量的是论文定义的知识信息量，不是权重文件大小，也不是自然语料的无损压缩率。它不能直接成为任意领域的容量上限：论文同时研究了训练时长、架构和数据信噪比对容量的影响。因此选型要区分“参数容量不足”与“已有容量尚未学满”，不能由这条规律推出“多训无用，只能加参数”。
扩展上下文那一侧已有成熟路径。位置内插（Position Interpolation）把位置号压缩回训练时见过的范围，$m \to m \cdot L/L'$，缩放比例由目标长度决定，并需要千步量级的微调；它与 NTK 感知缩放、YaRN 的对照见 4.3.5 节。真正的难题在权重记忆这一侧：预训练后知识冻结，模型无法在使用中持续吸收新知。
持续学习（Continual Learning）是突破这一限制的方向，核心障碍是灾难性遗忘。参数高效微调（8.4 节）中的 LoRA 等方法通过只更新低秩增量缓解了遗忘，但它们仍是离线的局部优化，不是在线持续学习。
本书更看好“上下文记忆 + 外部知识库 + 工具状态”的组合，理由很现实：外部记忆更容易更新、审计、回滚与隔离权限；权重更新一旦失控，很难解释某个行为变化从何而来。长期看持续学习仍是核心问题，但它要解决的不只是“学得进”，还包括“知道该学什么、忘什么、向谁负责”。
14.9.6 规模定律的边际与竞争格局
预训练规模定律（5.4 节）依然有效，边际递减也依然明显。把指数代进去就知道有多明显：Kaplan 等人给出的算力项指数是 $\alpha_C^{\min} \approx 0.050$，即 $L \propto C^{-0.050}$。算力翻十倍，这一项只乘 $10^{-0.05} = 0.891$，降 10.9%；要把它降一半，需要约 $10^{6}$ 倍算力。参数项的 $\alpha_N \approx 0.076$ 稍好，十倍参数降 16.1%。
这组数字解释了两件看似矛盾的事：规模定律没有失效，曲线依然平滑可预测；而继续堆算力的回报确实在变薄。它也解释了为什么推理时计算扩展在 2024 年之后受到关注：当训练侧的指数只有 0.05 时，把同样的算力挪到推理侧成为一个值得算的选项。
物理约束同时在逼近：电力供给、供应链，以及显存。显存这一项在本书里是可算的：11.12.3 节的算例显示，同一颗计算芯片上多出的 61 GB 可以让 70B 的 FP8 部署从“放不下”变成单卡数十路并发。这是大显存卡受追捧的一个具体原因，但它不是唯一原因：带宽对访存受限的解码同样关键（10.1 节）。
蒸馏（10.5 节）的普及压缩了技术领先的窗口期：较弱模型通过学习更强模型的输出分布能迅速逼近领先水平。开放权重模型在这一格局中提供了制衡（13.2 节）：当多数人都能获取相当能力的模型时，能力增长就不容易被少数组织独占。
作者的判断是：在模型能力普遍追平更快的阶段，独占、可持续、可合法使用的数据闭环比单点论文突破更难复制。领先者可能不是参数最多的团队，而是最会把真实任务反馈转化为训练、评测、产品与安全改进闭环的组织。这是判断，不是有出处的结论。
14.9.7 安全与对齐：从被动审计到主动差异检测
随着能力增强，对齐的挑战同步加深：更强的模型带来更大的滥用风险；RLHF/DPO 是否跟得上能力增长仍无定论；理解内部决策过程对安全审计至关重要；不同文化背景下“对齐”的目标本身也有差异。
传统安全评估是反应式的：评估已知风险，发现不了新出现的行为。一个更有力的方法是模型行为对比（model diffing），借鉴软件工程的 diff 思想，自动隔离两个模型之间的差异。
它的机制在 14.8.5 节已经给出：用同一组稀疏特征同时重构两个模型的激活，再比较每个特征在两侧解码器方向上的范数。某个特征只在一侧有显著范数，它就是该模型独有的；两侧都有，则是共享的。Anthropic 的 Sparse Crosscoders 把模型对比列为这套方法的用途之一，并把适用范围设想到架构不同的独立模型。
实际做到跨架构的是 Cross-Architecture Model Diffing with Crosscoders（Jiralerspong 与 Bricken，2026）。该文指出标准 crosscoder 的一处不足：独有特征只能事后按两侧解码器范数的悬殊程度近似挑出，对侧范数几乎不会真正归零。专用特征交叉编码器（Dedicated Feature Crosscoder，DFC）改为把字典硬分成三段——A 独有、B 独有、共享——并把对侧的解码器权重结构性地钉为零。于是“独有”由架构保证，而不是由阈值筛出。
该文报告的特征包括：Qwen3-8B 与 DeepSeek-R1-0528-Qwen3-8B 中与中国共产党立场对齐的特征、Llama-3.1-8B-Instruct 中的美国例外论特征、GPT-OSS-20B 中的版权拒绝机制。三者都用 steering 验证过因果效应，但并非每个特征的两个方向都可解释：美国例外论特征的负向引导就没有给出可解释的行为。
有一处区分值得留意。前两类意识形态特征是依据既有工作预先假设、再去验证的；只有 GPT-OSS-20B 的版权拒绝机制是作者事先并不知道的差异。未知的未知（unknown unknowns）才是模型对比相对于清单式评估的独特价值：后者必须先知道要找什么。该文对自身的定位也写得克制：它是发现环节的第一步，之后仍须严格验证。
这类发现仍是模型与数据集特定的，不能推广为整个模型家族的固定属性，应回到各自的实验设置去读。控制实验（steering）——人工抑制或增强某个特征——可以检验特征与行为之间的因果关系，但它增强的是对具体发现的信心，不能替代更广模型、更广任务与人工红队验证。
本书的预测是，安全能力会越来越像软件工程中的 CI/CD 门禁：不是发布前做一次红队测试就结束，而是贯穿数据、训练、评测、部署、监控与回滚。模型越能行动，安全就越不能只讨论“输出是否有害”，还要讨论权限、状态、工具副作用、用户授权与事故复盘。
14.9.8 从前沿路线到工程决策
判断新技术的价值，需要把论文或发布中的机制映射到系统瓶颈。表 14-13 选取已有公开实现或模型报告的路线，区分它们解决的问题与落地边界；厂商或作者的实验结果不等于任意业务负载上的收益。
低精度内核：Transformer Engine NVFP4 已提供训练配方
用低精度矩阵乘法降低计算与数据搬运开销；先判断关键算子能否使用对应内核
分块缩放、随机舍入和异常值处理增加复杂度；依赖受支持的 Blackwell 硬件，不能把权重转成 4 位就等同于端到端加速
异步 RL：AReaL 将轨迹生成与参数更新分离
缓解长短轨迹不齐造成的等待，让生成服务与训练端独立调度
数据滞后与策略版本差异进入算法本身；已有开源系统和论文实验，采用前要评估吞吐收益是否抵得过稳定性与运维代价
长上下文混合状态：Nemotron 3 结合 Mamba、注意力与 MoE
让部分层以递推状态处理历史，减少全注意力层的缓存负担
已有公开权重与报告；保留的注意力层仍有 KV 成本，长窗口声明不能替代远距离检索与多跳任务的质量评估
MoE 通信内核：DeepEP 提供专家分发与归并
把“少算参数”的优势推进到跨卡执行；重点评估 all-to-all 与计算能否重叠
已有开放内核，但收益依赖互联、批量和路由负载；低激活参数量不能替代总权重显存预算，版本升级也要复核接口
推理预算控制：Nemotron 3 将预算控制纳入训练，Qwen3 展示思考与非思考模式
将延迟和成本按请求分配；用任务成功率衡量额外思考是否值得
已进入公开模型能力，但控制语义依模型与服务实现而异；更长轨迹不保证更准确，还须保留答案输出预算
表 14-13：前沿路线与工程决策。每行都应同时读“收益”与“边界”，不以单个基准的倍数代替系统判断。
作者更看重这些路线的组合效应：精度决定算子怎样执行，混合状态决定历史怎样保存，MoE 决定计算分配给哪些参数，异步 RL 决定反馈怎样进入训练，推理预算决定每次请求花多少资源。未来一至三年的工程优势，很可能来自把这些选择组织成可观测、可回退的系统；能否成立，仍取决于具体任务的质量与成本曲线。
14.9.9 写在最后
Transformer 的核心设计原则——注意力的全局连接、残差连接对梯度传播的改善、并行计算对算力的释放——构成了深度学习史上最成功的架构范式之一。本章记录的是这些原则之上正在被改写的地方。
对读者而言，真正重要的不是记住每个模型的参数配置，而是理解每一个设计选择背后的“为什么”：为什么要除以 $\sqrt{d_k}$、为什么梯度能流过百层网络、为什么先猜后验能加速推理。掌握了这些，架构如何演变都能快速理解。
再进一步，还需要形成自己的判断：哪些变化只是榜单上的短期波动，哪些会改变系统架构；哪些优化能立刻落地，哪些仍停留在研究样机；哪些能力值得自动化，哪些必须保留人工责任。技术书如果只提供知识点，读者最多获得一张地图；同时提供判断框架，读者才可能在新的地形中独立行动。
最后更新于