第十四章：架构创新与未来趋势

Transformer 并非终点。自注意力的 $O(n^2)$ 瓶颈、日益增长的模型规模和对更强推理能力的需求，推动着架构向多个方向演进。本章探讨高效注意力、混合专家模型、状态空间模型、多模态 Transformer 等前沿方向，深入分析 AI Agent 与工具调用如何让 LLM 从“对话”走向“行动”，介绍推理时计算扩展如何让模型学会深度思考，系统梳理长上下文技术从工程实现到有效利用的完整图景，走进机制可解释性、尝试打开模型权重这个“黑箱”，最后把各条线索连成一份展望，分清其中哪些已有机制解释、哪些仍是经验规律、哪些只是作者的判断。

本章要回答的问题是：把 softmax 换成一块固定大小的状态，能省掉什么、又会丢掉什么（14.1 节）？模型凭什么不必用上全部参数（14.2 节）？线性递推的状态空间模型与注意力按什么比例混合才划算（14.3 节）？输入不再只是文本词元，图像该怎么变成词元（14.4 节）？模型如何从“说”走到“做”（14.5 节）？“推理”这一步能做多厚（14.6 节）？有长上下文与用好长上下文差在哪（14.7 节）？不听模型自述，怎么读出它学到的算法（14.8 节）？这些线索合起来，哪些问题已经收口、哪些还敞着（14.9 节）？