> For the complete documentation index, see [llms.txt](https://yeasy.gitbook.io/context_engineering_guide/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://yeasy.gitbook.io/context_engineering_guide/di-yi-bu-fen-ren-shi-shang-xia-wen-gong-cheng/02_llm_basics/2.1_how_llm_works.md).

# 2.1 大语言模型工作原理

> 💡 关于大语言模型基础原理（Transformer 架构、自注意力机制、自回归生成）的详细介绍，请参阅[《零基础学 AI》](https://yeasy.gitbook.io/ai_beginner_guide)或[《大模型原理与架构》](https://yeasy.gitbook.io/llm_internals)。

本章重点讨论与上下文工程相关的进阶技术：注意力机制的计算复杂度、优化技术，以及这些如何影响上下文窗口的设计。

## 2.1.1 注意力机制与上下文

自注意力机制的计算过程决定了模型如何利用上下文：

1. **Query、Key、Value**：每个 Token 被转换为三个向量
2. **注意力分数计算**：Query 与所有 Key 计算相似度
3. **加权求和**：根据注意力分数对 Value 加权求和
4. **输出表示**：得到融合了上下文信息的 Token 表示

关键点在于：每个 Token 的最终表示都包含了对整个上下文的“感知”。位置靠后的 Token 可以“看到”之前的所有 Token，这就是上下文窗口的技术基础。

## 2.1.2 计算复杂度

标准自注意力的计算复杂度是 $O(n^2)$，其中 $n$ 是序列长度。这意味着：

* 序列长度翻倍，计算量增加 4 倍
* 这是限制上下文窗口大小的主要技术瓶颈

为解决这一问题，研究者提出了多种优化技术：

| 技术      | 原理               | 代表模型                |
| ------- | ---------------- | ------------------- |
| 稀疏注意力   | 只计算部分位置对的注意力     | Longformer, BigBird |
| 线性注意力   | 近似自注意力，降低复杂度     | Linear Transformer  |
| 滑动窗口    | 限制每个位置只关注局部      | Mistral             |
| 分组查询注意力 | 减少 Key-Value 头数量 | LLaMA 2 70B、多数现代大模型 |

## 2.1.3 预训练与涌现能力

大语言模型通过在海量文本上预训练，学习语言的统计规律和世界知识。随着模型规模、训练数据、后训练方法和工具接口共同演进，模型会逐步表现出更强的 **涌现能力**（Emergent Abilities）：

* 少样本学习：通过几个示例就能理解新任务
* 逻辑推理：执行多步推理
* 代码生成：根据自然语言描述生成代码
* 工具使用：理解和调用外部工具

需要注意的是，把能力简单归因于某个固定参数门槛往往过于粗糙。许多较小模型在经过高质量训练、蒸馏、工具增强或专门后训练后，也能表现出其中一部分能力；而更大的模型通常只是在鲁棒性、泛化范围和组合能力上更强。

这些能力使得大模型能够胜任复杂任务，但前提仍是提供合适的上下文来激活和引导它们。这正是上下文工程的意义所在。

## 2.1.4 模型架构的演进

大模型的发展经历了多个重要阶段，呈现加速演进的特点：

**OpenAI GPT 系列**：从 GPT-3（2020 年，175B 参数，2K 上下文）→ GPT-3.5（2022 年，改进推理与指令遵循）→ GPT-4（2023 年 3 月，多模态能力，8K/32K 上下文）→ GPT-4 Turbo（2023 年 11 月，128K 上下文）→ GPT-5 系列（2025–2026 年迭代，上下文规模进入百万级）→ GPT-6 Astra（2026-09-03，官方模型页列在首位并标为 Default，1.05M 上下文、128K 输出；其下的 GPT-5.6 Sol/Terra/Luna 同为 1.05M 上下文与 128K 输出，仍在目录中）。

**Meta LLaMA 系列**：从 LLaMA（2023 年，开源基座）→ LLaMA 2（2023 年 7 月，70B 增强）→ LLaMA 3（2024 年，改进指令遵循）→ Llama 4 Scout（2025 年 4 月，官方模型卡列为 10M 上下文）与 Llama 4 Maverick（2025 年 4 月，官方模型卡列为 1M 上下文高性能）。

**Anthropic Claude 系列**：从 Claude 1/2（2023 年，基础能力）→ Claude 3 系列（2024 年 3 月，包括 Opus/Sonnet/Haiku，200K 上下文）→ Claude Opus 4.6（2026 年 2 月，1M 上下文）与 Claude Sonnet 4.6（2026 年 2 月，1M 上下文）以及 Claude Haiku 4.5（2025 年 10 月，200K 轻量版）→ Claude Opus 4.7（2026 年 4 月，加强 SWE 与视觉、新 tokenizer）→ Claude Opus 4.8（2026 年 5 月，1M 上下文、128K 输出、Adaptive Thinking）→ Claude Fable 5 / Mythos 5（2026 年 6 月 9 日，新一代命名体系；Fable 5 在当时是能力最强的广泛发布模型，$10/$50、1M 上下文、Adaptive Thinking 常开，现已随 5.1 发布移入 legacy；Mythos 5 非普遍可用，仅通过 Project Glasswing 向获批客户受限开放；两者曾于 6 月 12 日 被短暂暂停访问，Fable 5 于 7 月 1 日 恢复全球访问，Mythos 5 同日先恢复给一组美国机构后维持上述受限范围）→ Claude Sonnet 5（已面向所有 Claude 套餐和 API 发布，1M 上下文、128K 输出）与 Claude Opus 5（2026 年 7 月 24 日，1M 上下文、128K 输出）→ Claude Fable 5.1 / Mythos 5.1（2026 年 9 月 1 日，接替 5 系进入当前阵容）。

这条链条只用来说明演进节奏，**末端节点会随发布不断变化，不要把它当成「最新」或「该选哪个」**。其中 Fable 5、Opus 4.5/4.6/4.7/4.8 与 Sonnet 4.5/4.6 已被官方模型页移入 legacy 区间（仍可用，但建议迁移），Haiku 4.5 不在其中。当前在售型号、旗舰归属、价格与访问状态一律以 [附录 E：快变事实核验表](/context_engineering_guide/fu-lu/volatile_facts.md) 和官方模型页为准，生产选型还需核对实际账号可用区。

这些演进在以下核心维度持续推进：

* **参数规模**：从千亿级向万亿级发展
* **上下文窗口**：从 2K/4K → 8K/32K → 128K → 200K/1M → 10M
* **多模态能力**：从纯文本扩展到图像、音频、视频
* **效率优化**：推理速度提升，成本降低，稀疏注意力等技术应用

理解这些演进趋势，有助于把握上下文工程的未来发展方向。