> For the complete documentation index, see [llms.txt](https://yeasy.gitbook.io/llm_internals/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://yeasy.gitbook.io/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/14_future_trends.md).

# 第十四章：架构创新与未来趋势

Transformer 并非终点。自注意力的 $$O(n^2)$$ 瓶颈、日益增长的模型规模和对更强推理能力的需求，推动着架构向多个方向演进。本章探讨高效注意力、混合专家模型、状态空间模型、多模态 Transformer 等前沿方向，深入分析 AI Agent 与工具调用如何让 LLM 从“对话”走向“行动”，介绍推理时计算扩展如何让模型学会深度思考，系统梳理长上下文技术从工程实现到有效利用的完整图景，并最终走进机制可解释性，尝试打开模型权重这个“黑箱”。

本章要回答的问题是：模型凭什么不必用上全部参数（[14.2 节](/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/14_future_trends/14.2_moe.md)）？输入不再只是文本词元，图像该怎么变成词元（[14.4 节](/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/14_future_trends/14.4_multimodal.md)）？模型如何从“说”走到“做”（[14.5 节](/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/14_future_trends/14.5_agent_tool_use.md)）？“推理”这一步能做多厚（[14.6 节](/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/14_future_trends/14.6_test_time_scaling.md)）？有长上下文与用好长上下文差在哪（[14.7 节](/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/14_future_trends/14.7_long_context.md)）？不听模型自述，怎么读出它学到的算法（[14.8 节](/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/14_future_trends/14.8_interpretability.md)）？