> For the complete documentation index, see [llms.txt](https://yeasy.gitbook.io/llm_internals/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://yeasy.gitbook.io/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/14_future_trends.md).

# 第十四章：架构创新与未来趋势

Transformer 并非终点。自注意力的 $O(n^2)$ 瓶颈、日益增长的模型规模和对更强推理能力的需求，推动着架构向多个方向演进。本章探讨高效注意力、混合专家模型、状态空间模型、多模态 Transformer 等前沿方向，深入分析 AI Agent 与工具调用如何让 LLM 从“对话”走向“行动”，介绍推理时计算扩展如何让模型学会深度思考，系统梳理长上下文技术从工程实现到有效利用的完整图景，走进机制可解释性、尝试打开模型权重这个“黑箱”，最后把各条线索连成一份展望，分清其中哪些已有机制解释、哪些仍是经验规律、哪些只是作者的判断。

本章要回答的问题是：把 softmax 换成一块固定大小的状态，能省掉什么、又会丢掉什么（[14.1 节](/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/14_future_trends/14.1_efficient_attention.md)）？模型凭什么不必用上全部参数（[14.2 节](/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/14_future_trends/14.2_moe.md)）？线性递推的状态空间模型与注意力按什么比例混合才划算（[14.3 节](/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/14_future_trends/14.3_ssm_hybrid.md)）？输入不再只是文本词元，图像该怎么变成词元（[14.4 节](/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/14_future_trends/14.4_multimodal.md)）？模型如何从“说”走到“做”（[14.5 节](/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/14_future_trends/14.5_agent_tool_use.md)）？“推理”这一步能做多厚（[14.6 节](/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/14_future_trends/14.6_test_time_scaling.md)）？有长上下文与用好长上下文差在哪（[14.7 节](/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/14_future_trends/14.7_long_context.md)）？不听模型自述，怎么读出它学到的算法（[14.8 节](/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/14_future_trends/14.8_interpretability.md)）？这些线索合起来，哪些问题已经收口、哪些还敞着（[14.9 节](/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/14_future_trends/14.9_outlook.md)）？