5.1 零样本与少样本提示

在提示词工程中,根据是否提供示例以及示例数量的多少,可以将提示方式分为零样本、单样本和少样本三种类型。这些概念源自 GPT-3 论文arrow-up-right,理解它们的区别和适用场景,是有效应用示例驱动技术的基础。

5.1.1 零样本提示

零样本提示是指在不提供任何示例的情况下,仅通过指令描述任务,让模型直接生成输出。

基本形式

指令:[任务描述]
输入:[待处理内容]

示例

请将以下英文翻译成中文:

"The quick brown fox jumps over the lazy dog."
判断以下评论的情感倾向是正面、负面还是中性:

"这家餐厅的环境不错,但等位时间太长了。"

适用场景

零样本提示适用于:

  • 任务定义清晰,无歧义

  • 模型已经在预训练中接触过类似任务

  • 输出格式要求不严格

  • 快速原型验证

局限性

  • 对复杂或非常规任务效果不佳

  • 输出格式可能不一致

  • 边界情况处理不可控

5.1.2 单样本提示

单样本提示提供一个示例来展示任务模式。

基本形式

示例

作用

  • 消除指令的歧义

  • 展示期望的输出格式

  • 设定输出的风格和详细程度

5.1.3 少样本提示

少样本提示提供多个示例(通常 2-6 个),使模型能够更好地理解任务模式和边界情况。

基本形式

示例

为什么有效

少样本学习的有效性源于大语言模型的以下特性:

  1. 模式识别:模型能够从示例中识别输入到输出的映射模式

  2. 类比推理:将识别的模式应用到新的输入上

  3. 格式学习:从示例中学习输出的结构和格式

  4. 边界理解:多个示例帮助模型理解任务的边界

5.1.4 三种方式的对比

spinner

图 5-1:零样本、单样本和少样本提示的对比

特性
零样本
单样本
少样本

示例数量

0

1

2-6+

指令依赖

格式一致性

Token 消耗

最低

较高

5.1.5 选择合适的方式

选择零样本的情况

选择单样本的情况

选择少样本的情况

5.1.6 由零到多的渐进策略

在实践中,建议采用渐进策略:

5.1.7 上下文学习的本质

少样本学习的本质是 上下文学习——模型在推理时通过上下文中的示例“临时学习”任务规则,而无需更新模型参数。

这里需要理解一个关键区别:模型并不是在从示例中“学习新知识”,而是通过示例 识别任务格式和输入输出结构,从而激活参数中已有的能力回路。研究显示,即使示例中的标签是错误的(例如将正面评论标为负面),模型在标准基准上的表现也不会大幅下降。这进一步证实了“示例的核心价值在于定位任务模式,而非提供知识”这一观点。

这与传统机器学习的关键区别:

方面
传统机器学习
上下文学习

学习时机

训练阶段

推理阶段

参数变化

参数更新

参数不变

示例需求

大量标注数据

少量示例

任务切换

需重新训练

只需换示例

思考

  1. 在您的具体业务场景中,有哪些任务必须使用 少样本提示 (Few-Shot)才能保证输出的稳定性?又有哪些任务使用零样本提示 (Zero-Shot) 就足够了?

  2. 尝试将一个原本使用零样本提示效果不佳的任务,改写为单样本和三样本提示,观察效果有何变化。

最后更新于