> For the complete documentation index, see [llms.txt](https://yeasy.gitbook.io/llm_internals/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://yeasy.gitbook.io/llm_internals/di-er-bu-fen-xun-lian-pian/05_pretraining/5.1_autoregressive.md).

# 5.1 自回归语言模型：从左到右的世界观

自回归语言模型（Autoregressive Language Model）是当前大语言模型最主流的预训练范式。GPT 系列、Llama、DeepSeek 等模型都基于这一范式。第一部分交付的是一个 Transformer 的形状——注意力如何计算、位置如何编码、层与层如何相连。[1.5.1 节](/llm_internals/di-yi-bu-fen-ji-chu-pian/01_introduction/1.5_milestones.md)提到过 GPT 靠“预测下一个词”起家，但那是一句历史叙述，没有写成一个可以优化的训练目标。第二部分从这里接手。

## 5.1.1 核心思想：预测下一个词元

自回归语言模型的训练目标极其简洁：**给定前面的所有词元，预测下一个词元。** 数学上，给定一个词元序列 $$x\_1, x\_2, \dots, x\_n$$，模型最大化以下条件概率的乘积（等价于最小化负对数似然）：

$$\mathcal{L} = -\sum\_{t=1}^{n} \log P(x\_t | x\_1, x\_2, \dots, x\_{t-1})$$

这就是**语言建模目标**——让模型通过学习文本中词汇的共现模式，逐渐掌握语言的统计规律。

## 5.1.2 为什么“预测下一个词元”能学到知识

这个简单目标的深刻之处在于：**要在足够多样的语境中准确预测下一个词元，模型会被迫学习大量关于文本含义、世界知识和语言结构的统计规律。**

考虑以下例子：

* “法国的首都是\_\_\_\_”→ 预测“巴黎”需要**世界知识**
* “他高兴极了，脸上露出了\_\_\_\_”→ 预测“笑容”需要**常识推理**
* “如果 x > 5 且 x < 10，那么 x 的范围是\_\_\_\_”→ 预测正确答案需要**逻辑推理**
* “The cat sat on the\_\_\_\_”→ 预测“mat”需要**语法和搭配知识**

要在所有这些场景中都做出高概率预测，模型**事实上需要学习语法规则、语义关系、常识知识、逻辑推理甚至专业领域知识的可用表示**。预测下一个词元不是目的，而是**迫使模型学习语言背后结构的手段**。

从信息论的角度看，一个完美的语言模型需要精确建模生成文本的底层分布——包括语言的许多层面。因此，语言建模可以被视为一种**通用的无监督学习信号**，它隐式覆盖了大量 NLP 能力，但并不自动保证事实可靠性、因果理解或任务执行能力。

## 5.1.3 自回归模型的架构选择

自回归语言模型使用 Transformer **解码器**（带因果掩码的自注意力），正如 [2.4 节](/llm_internals/di-yi-bu-fen-ji-chu-pian/02_attention/2.4_self_cross_causal.md)中讨论的那样。因果掩码确保在预测第 $$t$$ 个词元时只能看到前 $$t-1$$ 个词元，与推理时的逐步生成过程一致。

这种架构选择使得训练和推理在数学上完全一致——训练时可以并行计算所有位置的损失（因为因果掩码在矩阵运算中自然实现），推理时则逐步生成。这种一致性是自回归模型的一大优势。

## 5.1.4 自回归的局限与折中

自回归模型的主要局限是**单向性**——它只能从左到右（或从右到左）看文本，无法同时利用上下文两个方向的信息。在理解型任务（如情感分类、关系抽取）中，后面的上下文同样重要：

* “这部电影的特效很好，但剧情\_\_\_\_”→ 如果不知道后文说的是“太差了”还是“也不错”，就无法判断整体情感

正是这一局限促使了 BERT 等双向预训练模型的出现（见下一节）。

然而，随着模型规模的增大，自回归模型通过**涌现能力**（Emergent Abilities）展现出了出色的上下文理解能力——即便是单向模型，在足够的参数和数据下也能在理解型任务上取得优异表现。这一现象说明，模型规模可以部分补偿架构设计的局限性。这也是为什么 GPT-3 之后，仅解码器架构逐渐成为主流。（“涌现”是否真实存在、抑或为评测指标选择的产物仍有争议，详见 [13.1.3 节](/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/13_decoder_models/13.1_gpt_series.md)。）