# 6.2 大模型原理

> 你眼中的“思考”，在 AI 眼里只是“概率计算”。根据上文，猜下一个字。

## 6.2.1 这里的“接龙”不简单

大语言模型（LLM）到底在干什么？

一句话就能说清：**Next Token Prediction（预测下一个词）**。

这听起来像是在玩“文字接龙”。

* 你说：“白日依山”
* 模型脑子里算了一下，“尽”字出现的概率是 99%。
* 于是它说：“尽”。

你可能会问：**“就这？这也能叫智能？”** 是的，就这。

但当它的阅读量达到千亿级别时，奇迹发生了。

它不仅仅是在接“白日依山尽”，它能接代码、能接论文、能接菜谱。 **当“接龙”的能力达到极致，外在表现出来的就是“智能”。**

![图 6-1：大模型预测下一个词（Next Token Prediction）示意图](/files/lojIPbWW8e8ALcOnRTsp)

图 6-1：大模型预测下一个词（Next Token Prediction）示意图

## 6.2.2 什么是 Token？

AI 不认识“字”，它只认识 **Token**。

Token 就像是 AI 的“积木块”。

Token 并不是“一个字/一个词”的固定单位，而是由 **分词器（Tokenizer）** 切出来的子词片段：

* 在英文里，一个 token 可能是一个词、词的一部分（如 `ing`）、甚至是标点和空格；长度不固定。例如，一句 `“Hello, world!”` 在 GPT 的分词器中可能会被切分成约 4 个 token（`Hello`、`,`、 `world`、`!`）。
* 在中文里，一个 token **经常** 接近 1 个汉字，但也可能把常见词组、数字、英文混排切成不同粒度。

近年来，前沿模型的上下文窗口已达到百万 token 级别（如 Gemini 3.1 Pro 为 1M token、Llama 4 Scout 达 10M token），这意味着它一次能“记住”大量积木块的顺序。

## 6.2.3 温度：AI 的性格开关

在调用 AI 时，有一个很重要的参数叫 **“温度”**。

* **温度 = 0**：AI 变成 **理工男**。每次都选概率最高的那个词，绝对严谨，但也极度无聊。适合写代码、做数学题。
* **温度 = 1（甚至更高）**：AI 变成 **艺术家**。它会尝试选一些概率没那么高、但比较新奇的词。随着温度继续升高（部分模型最高可达 2），它甚至会变得“语无伦次”。适合写诗、发散脑洞。

**通过调节温度，我们赋予了那个冰冷的计算器以“性格”。**

![图 6-2：温度（Temperature）机制示意图](/files/DGIIfN5P1wDq3p6RL65Q)

图 6-2：温度（Temperature）机制示意图

## 6.2.4 思考题

如果 AI 只是在做“概率预测”，那它真的有 **“自我意识”** 吗？

还是说，我们的 **“自我意识”**，本质上也是一种极其复杂的、生物学层面的“概率预测”？

（这个问题目前没有科学定论，只有哲学争论。）


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://yeasy.gitbook.io/ai_beginner_guide/di-er-bu-fen-he-xin-ji-shu-jie-xi/06_llm/6.2_how_llm_works.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.