6.1 语言模型演变

说明 本讲核心：为什么几十年前的聊天机器人像“模板机”，现在更像真人？因为方法变了。 一句话口诀：从定规则，到统计学，再到“大力出奇迹”。

6.1.1 远古时代：Eliza (1966)

最早的聊天机器人叫 Eliza，它扮演一个心理医生。

• 你：我很难过。

• 它：请告诉我你为什么难过？

• 你：因为我失恋了。

• 它：听到你失恋了，我很有兴趣。

看起来像模像样？其实它只是在 “套公式”：

• 如果用户说 “I am X”，就回复 “Why are you X?”。

• 这本质上还是 If/Else。一旦你稍微说复杂点，它就露馅了。

6.1.2 统计时代：Siri (2011)

到了 Siri 时代，AI 开始用 “统计学” 了。 它并不懂你在说什么，但它算过，当你是说“明天天气”时，有 90% 的概率是想看天气预报。 所以它不是在“思考”，而是在“查表”。 这也是为什么 Siri 经常听不懂人话，只能在预设的框架里回答。

6.1.3 大模型时代：GPT (2018-)

大模型时代（2018-）的关键变化是：以 GPT 为代表的模型不再依赖人工规则，而是在大规模语料上进行预训练。

它做的事情看似简单：给定上文，预测下一个 token。 但当模型规模、数据规模和训练算力同时上去后，能力会出现明显跃迁。 从 GPT-3 的惊艳，到后续多代模型在推理、工具调用、多模态上的持续进步，AI 已经通过“大力出奇迹”的方式，实现了质的飞跃。

从规则驱动（Rule-based）到数据驱动（Data-driven），这就是 AI 变聪明的根本原因。

6.1.4 思考题

我们经常吐槽以前的 Siri “不够聪明”。 现在的大模型看起来很聪明。 有没有一种可能，在 10 年后的 AI 看来，现在的模型也只是“过渡阶段的助手”？ 你觉得下一代 AI 会在什么地方超越现在的 AI？