> For the complete documentation index, see [llms.txt](https://yeasy.gitbook.io/ai_beginner_guide/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://yeasy.gitbook.io/ai_beginner_guide/di-er-bu-fen-he-xin-ji-shu-jie-xi/06_llm/6.1_evolution.md).

# 6.1 语言模型演变

> 为什么几十年前的聊天机器人像“模板机”，现在更像真人？因为方法变了。从定规则，到统计学，再到“大力出奇迹”。

## 6.1.1 远古时代：Eliza（1964-1967）

最早的聊天机器人叫 **Eliza**，由 MIT 的 Joseph Weizenbaum 在 1964-1967 年间开发，1966 年在《美国计算机学会通讯》上正式发表。它扮演一个心理医生。

* 你：我很难过。
* 它：请告诉我你为什么难过？
* 你：因为我失恋了。
* 它：听到你失恋了，我很有兴趣。

看起来像模像样？其实它只是在 **“套公式”**：

* 如果用户说 “I am X”，就回复 “Why are you X?”。
* 这本质上还是 If/Else。一旦你稍微说复杂点，它就露馅了。

到了 20 世纪 90 年代和 21 世纪初，随着 **统计机器翻译** 等技术的出现，AI 开始从“写规则”转向“找规律”。

## 6.1.2 统计时代：2011 年的 Siri

到了 Siri 时代，AI 开始用 **“统计学”** 了。

它并不懂你在说什么，但它算过，当你是说“明天天气”时，有 90% 的概率是想看天气预报。

所以它不是在“思考”，而是在“查表”。

这也是为什么 Siri 经常听不懂人话，只能在预设的框架里回答。

## 6.1.3 大模型时代：2018 年以来的 GPT

大模型时代（2018-）的关键变化是：以 GPT 为代表的模型不再依赖人工规则，而是在大规模语料上进行预训练。

它做的事情看似简单：给定上文，预测下一个 token。

但当模型规模、数据规模和训练算力同时上去后，能力会出现明显跃迁。

从 GPT-3 的惊艳，到后续多代模型在推理、工具调用、多模态上的持续进步，AI 已经通过“大力出奇迹”的方式，实现了质的飞跃。

从规则驱动（Rule-based）到数据驱动（Data-driven），这就是 AI 变聪明的根本原因。

## 6.1.4 思考题

我们经常吐槽以前的 Siri “不够聪明”。

现在的大模型看起来很聪明。

有没有一种可能，在 10 年后的 AI 看来，现在的模型也只是“过渡阶段的助手”？

你觉得下一代 AI 会在什么地方超越现在的 AI？