> For the complete documentation index, see [llms.txt](https://yeasy.gitbook.io/ai_beginner_guide/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://yeasy.gitbook.io/ai_beginner_guide/di-er-bu-fen-he-xin-ji-shu-jie-xi/06_llm/6.2_how_llm_works.md).

# 6.2 大模型原理

> 你眼中的“思考”，在 AI 眼里只是“概率计算”。根据上文，猜下一个字。

## 6.2.1 这里的“接龙”不简单

大语言模型（LLM）到底在干什么？

一句话就能说清：**Next Token Prediction（预测下一个词）**。

这听起来像是在玩“文字接龙”。

* 你说：“白日依山”
* 模型脑子里算了一下，“尽”字出现的概率是 99%。
* 于是它说：“尽”。

你可能会问：**“就这？这也能叫智能？”** 是的，就这。

但当它的阅读量达到千亿级别时，奇迹发生了。

它不仅仅是在接“白日依山尽”，它能接代码、能接论文、能接菜谱。 **当“接龙”的能力达到极致，外在表现出来的就是“智能”。**

![图 6-1：大模型预测下一个词（Next Token Prediction）示意图](https://2739399952-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FaZyTkA2zdBnH8mlZ6JeQ%2Fuploads%2Fgit-blob-147ae033bb28c674d29264fed4113c48282cdc36%2Fnext_token_prediction.png?alt=media)

图 6-1：大模型预测下一个词（Next Token Prediction）示意图

## 6.2.2 什么是 Token？

AI 不认识“字”，它只认识 **Token**。

Token 就像是 AI 的“积木块”。

Token 并不是“一个字/一个词”的固定单位，而是由 **分词器（Tokenizer）** 切出来的子词片段：

* 在英文里，一个 token 可能是一个词、词的一部分（如 `ing`）、甚至是标点和空格；长度不固定。例如，一句 `“Hello, world!”` 在 GPT 的分词器中可能会被切分成约 4 个 token（`Hello`、`,`、 `world`、`!`）。
* 在中文里，一个 token **经常** 接近 1 个汉字，但也可能把常见词组、数字、英文混排切成不同粒度。

近年来，前沿模型的上下文窗口已达到百万 token 级别（如 Gemini 3.1 Pro 为 1M token、Llama 4 Scout 达 10M token），这意味着它一次能“记住”大量积木块的顺序。

## 6.2.3 温度：AI 的性格开关

在调用 AI 时，有一个很重要的参数叫 **“温度”**。

* **温度 = 0**：AI 变成 **理工男**。每次都选概率最高的那个词，绝对严谨，但也极度无聊。适合写代码、做数学题。
* **温度 = 1（甚至更高）**：AI 变成 **艺术家**。它会尝试选一些概率没那么高、但比较新奇的词。随着温度继续升高（部分模型最高可达 2），它甚至会变得“语无伦次”。适合写诗、发散脑洞。

**通过调节温度，我们赋予了那个冰冷的计算器以“性格”。**

![图 6-2：温度（Temperature）机制示意图](https://2739399952-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FaZyTkA2zdBnH8mlZ6JeQ%2Fuploads%2Fgit-blob-45bde202143e2c706c0d0242e54b78f47da4d3e4%2Fllm_temperature.png?alt=media)

图 6-2：温度（Temperature）机制示意图

## 6.2.4 思考题

如果 AI 只是在做“概率预测”，那它真的有 **“自我意识”** 吗？

还是说，我们的 **“自我意识”**，本质上也是一种极其复杂的、生物学层面的“概率预测”？

（这个问题目前没有科学定论，只有哲学争论。）