5.4 深度学习的局限性

深度学习虽然强大，但它有两个致命死穴：不可解释（黑箱）和不可持续（能耗）。知其然，不知其所以然。

5.4.1 黑箱：你为什么说是猫？

如果你的医生告诉你：“你得了这个病，但我不知道为什么，是我的 AI 助手说的，它看了一眼你的片子就确诊了。”

你敢信吗？

这就是深度学习最大的问题：不可解释性（Black Box）。

神经网络内部有几千亿个参数，就像一个巨大而混乱的线团。虽然它输出了正确答案，但人类无法理清它中间的逻辑路径。

在金融风控、自动驾驶、医疗诊断这些 “人命关天” 的领域，黑箱是一个巨大的合规风险。

训练顶级大模型常常需要极高电力和算力成本。

其碳排放也可能达到传统软件系统难以相比的量级。

深度学习是一种 “暴力美学”：大力出奇迹。虽然效果好，但它极其低效。

人脑只消耗 20W 功率，就能写出《红楼梦》；AI 消耗兆瓦级功率，可能还在算错一道数学题。

这种 “能源换智能” 的模式，长期来看是不可持续的。

深度学习模型是个不折不扣的“吃货”，不仅要吃算力，更要吃海量的高质量数据。

如果是没人标注过的稀缺领域数据，模型往往表现糟糕。“有多少人工，就有多少智能”这句玩笑话，在很多特定场景下依然成立。

如果你让一个训练好的模型去学习新任务（比如学完了识别猫狗，再去学识别飞机），它很可能会把怎么识别猫狗给忘了。

这种“狗熊掰棒子”的现象被称为 灾难性遗忘（Catastrophic Forgetting），说明它缺少人类那种举一反三和持续学习的机制。

当你问 AI 一个它不知道的问题，它不会说“我不知道”，而是会编造一个看起来非常有道理的假答案。

这叫 “幻觉”（Hallucination）。

因为 AI 本质上是在做“文字接龙”（详见后文 6.2 节），它只管概率上通顺，不管事实上真假。

这是大模型刻在基因里的缺陷，目前还没有完美的解药。

我们是否真的需要 AI 具有“可解释性”？

我们自己的大脑其实也是个黑箱（你也不知道你是怎么突然想到一个好点子的，对吧？）。

如果 AI 能保证 99.999% 的准确率，远高于人类专家，我们是否可以接受它是一个黑箱？

最后更新于20天前