> For the complete documentation index, see [llms.txt](https://yeasy.gitbook.io/llm_internals/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://yeasy.gitbook.io/llm_internals/di-yi-bu-fen-ji-chu-pian/01_introduction/summary.md).

# 本章小结

[技术全景图](/llm_internals/di-yi-bu-fen-ji-chu-pian/01_introduction/1.0_technology_map.md)区分了系统层次与训练、推理两条路径：硬件提供资源，算子执行计算，框架与引擎组织执行，服务承接请求，应用与 Agent 完成任务。遇到新技术时，先判断它改变哪一层、解决什么瓶颈，再看具体实现。

本章追溯了从传统序列建模到 Transformer 的演进路径，并立起了后续各章反复使用的几把尺子。核心要点如下：

**语言模型的形式化**：整条序列的概率按链式法则拆成 $T$ 次“预测下一个词元”，训练目标是每词元平均交叉熵，取指数即困惑度。全书的训练、解码与评测都建立在这条分解上。

**三条评判轴**：变长输入、长距离依赖、计算效率。第三条必须拆成总计算量与顺序步数两个量，二者可以背道而驰，混在一起谈会得出相反的结论。

**从文字到向量**：文本经“分词 → 索引映射 → 词嵌入”成为 $\[T, d]$ 的矩阵。嵌入表 $\[V, d]$ 本身就是一大块参数，Llama 3 8B 的 $128{,}256 \times 4{,}096$ 约合 5.25 亿。

**RNN 的成就与局限**：共享参数解决了变长输入；梯度沿 $h$ 通路连乘衰减，每步收缩 0.9 时 100 步只剩 $3.0 \times 10^{-5}$。LSTM 另开一条 $c$ 通路，$\partial c\_t / \partial c\_{t-1} = \operatorname{diag}(f\_t)$，$f = 0.99$ 时 100 步仍剩 0.37，前提是遗忘门贴近 1。遗忘门出自 Gers 等（1999/2000），1997 年的原始 LSTM 只有输入门与输出门。串行瓶颈始终未解，但 RNN 推理时 $O(d)$ 的恒定状态至今仍是它相对 KV 缓存的优势。

**CNN 的尝试**：一维卷积顺序步数为 $O(1)$，代价是感受野有限。$k = 3$ 的普通卷积要 500 层才能覆盖 1000 个位置，空洞卷积只需 7 层，两个口径不能混用。卷积本身不带绝对位置，ConvS2S 因此显式加了位置嵌入。

**注意力的诞生**：Seq2Seq 把整句压进固定向量，Sutskever 等的配置是 8000 个实数。瓶颈不在比特数（8000 个 float32 是 256,000 bit，远多于 50 词句子按该文 160,000 词表算出的 865 bit 上界），而在于编码器必须在不知道解码器将问什么的前提下完成压缩。Bahdanau 注意力把“读哪里”推迟到解码时，路径长度从 $O(n)$ 降到 $O(1)$；打分用的是**上一步**的状态 $s\_{i-1}$，用当前状态打分的是 Luong。代价是 $O(n)$ 的存储与 $O(n \cdot m)$ 次打分，与后文 KV 缓存是同一笔账。

**Transformer 的核心思想**：只用自注意力与前馈网络。三条轴上的表现因此改写为：变长输入靠共享参数与位置编码，长距离依赖路径降到 $O(1)$，训练的顺序步数降到 $O(1)$。总计算量并未减少——按整层口径，二次项与线性项之比是 $n/(12d)$，常见长度下二次项只占几个百分点。生成仍然串行，这是第九到十一章的出发点。

**从论文到产业**：预训练把最贵的一步只做一次；规模定律用 $C \approx 6ND$ 把成本变成可算的量（GPT-3 为 $3.14 \times 10^{23}$ FLOPs），Chinchilla 修正了参数与数据的配比；此后的六次转折（指令对齐、开放权重、稀疏化、长上下文、推理时计算、智能体化）每一次都在解决上一步留下的问题，并留下新的代价。

循环被整个拿掉之后，[1.3 节](/llm_internals/di-yi-bu-fen-ji-chu-pian/01_introduction/1.3_attention_birth.md)里一身兼两职的 $h\_j$——既是算分的依据，又是被取走的内容——该由谁来扮演？1.4.2 给出了答案的名字：拆成 Key 与 Value 两个投影，再加一个 Query。这三者具体怎么算，是下一章的内容。

***

> 📝 **发现错误或有改进建议？** 欢迎提交 [Issue](https://github.com/yeasy/llm_internals/issues) 或 [PR](https://github.com/yeasy/llm_internals/pulls)。