4.4 迭代优化与测试方法

提示词设计很少一步到位。即使是经验丰富的从业者，也需要通过迭代测试来优化提示词效果。本节将介绍一套系统化的提示词迭代优化方法论。

4.4.1 迭代优化的基本流程

这是一个循环过程，直到达到满意的效果或资源约束为止。

4.4.2 第一步：建立基准

在开始优化之前，需要明确：

定义成功标准

什么样的输出是“好”的？

评估维度示例：
- 准确性：事实是否正确？
- 相关性：是否直接回答了问题？
- 完整性：是否涵盖所有要点？
- 格式：是否符合指定格式？
- 风格：语气和用词是否合适？
- 长度：是否在要求范围内？

创建测试用例

准备多个测试输入，覆盖典型场景和边界情况：

测试用例设计原则：
1. 典型场景：代表最常见的使用情况
2. 边界情况：可能导致问题的特殊输入
3. 多样性：覆盖不同类型的输入内容
4. 可对比：能够客观评判好坏差异

示例测试用例集：

## 产品评论情感分析测试集

#### 用例 1：典型正面评论

输入："非常满意！质量好，发货快，包装仔细。"
预期输出：正面，置信度高

#### 用例 2：典型负面评论

输入："太差了，收到就是坏的，退款都费劲。"
预期输出：负面，置信度高

#### 用例 3：复杂混合情感

输入："产品本身不错，但价格偏贵，而且客服态度一般。"
预期输出：识别出正面(产品)和负面(价格、客服)两方面

#### 用例 4：讽刺/隐含情感

输入："哦，一周才到货，真是'高效'啊。"
预期输出：识别讽刺，判断为负面

#### 用例 5：无情感/中性

输入："收到了，是这个颜色的。"
预期输出：中性

4.4.3 第二步：系统化测试

多次运行

由于模型输出有随机性，同一提示词应运行多次：

建议做法：
- 每个测试用例至少运行 3-5 次
- 记录所有输出结果
- 观察一致性和变异范围
- 使用低 Temperature(如 0.1)测试确定性场景

对照测试

比较不同版本提示词的效果差异：

版本对照表：

| 版本 | 主要变化 | 测试用例 1 | 测试用例 2 | 测试用例 3 |
|------|----------|-----------|-----------|-----------|
| v1.0 | 基础版本 | 70% | 65% | 60% |
| v1.1 | 添加示例 | 85% | 80% | 75% |
| v1.2 | 优化指令 | 90% | 88% | 82% |

记录测试日志

保留完整的测试记录：

## 测试日志

#### 日期：2026-01-10

**测试版本**：v1.2
**测试用例**：情感分析-复杂混合情感
**输入**："产品本身不错，但价格偏贵，而且客服态度一般。"

**运行 1**：
输出：{"overall": "mixed", "aspects": [{"产品质量": "positive"}, ...]}
评估：✓ 正确识别

**运行 2**：
输出：{"overall": "negative", ...}
评估：✗ 整体判断有误

**运行 3**：
...

**汇总**：3 次中 2 次正确，成功率 67%
**问题**：对"还行"类弱正面表达敏感度不够

4.4.4 第三步：问题诊断

常见问题模式

问题现象	可能原因	优化方向
输出太冗长	未设长度限制	添加字数约束
遗漏关键点	指令不完整	明确列出必须包含的内容
格式不一致	格式说明模糊	提供精确模板
理解偏差	表达有歧义	简化语言，使用示例
内容不准确	缺少参考信息	补充上下文
风格不对	角色设定不清	强化角色定义和风格说明

诊断问题根源

诊断思路：

1. 是指令问题还是示例问题？
   → 尝试只调整其中一方面，观察变化

2. 是信息不足还是信息过载？
   → 精简或补充上下文，观察影响

3. 是模型能力问题还是提示词问题？
   → 换用更强的模型测试，判断上限

4. 是一致性问题还是质量问题？
   → 降低 Temperature 测试，区分随机性影响

4.4.5 第四步：优化策略

策略 1：逐步细化

从简单提示词开始，逐步添加细节：

v1：请总结这篇文章。

v2：请用 3-5 个要点总结这篇文章的主要内容。

v3：请用 3-5 个要点总结这篇文章，每个要点一行，
    总长度不超过 200 字。

v4：请用 3-5 个要点总结这篇文章：
    - 每个要点用一句话概括
    - 按重要性排序
    - 总长度不超过 200 字
    - 使用客观陈述的语气

策略 2：添加示例

当指令不足以传达意图时，添加示例：

增加示例前：
请将技术术语转换为通俗表达。

增加示例后：
请将技术术语转换为通俗表达。

示例：
输入：这个程序的时间复杂度是 O(n²)
输出：这个程序处理数据的时间会随着数据量的增加快速变长

输入：API 调用
输出：请求在线服务获取数据

策略 3：拆分复杂任务

将一个复杂提示词拆分为多个简单步骤：

原始：
分析这份财报，给出投资建议。

拆分后：
步骤 1：提取财报关键财务指标
步骤 2：对比行业平均水平
步骤 3：分析趋势和风险点
步骤 4：基于以上分析给出综合评估

策略 4：强化约束

增加明确的约束条件：

约束前：
回答用户的技术问题。

约束后：
回答用户的技术问题。

约束条件：
- 只回答与 Python 编程相关的问题
- 对于其他技术栈的问题，说明不在服务范围内
- 如果问题不清楚，先要求用户澄清
- 不提供有安全风险的代码

4.4.6 第五步：验证与固化

回归测试

优化后，使用完整测试集验证：

确保：
1. 原有问题已解决
2. 没有引入新问题
3. 所有核心场景仍然正常

文档记录

记录最终的提示词版本和关键决策：

## 提示词文档

#### 名称

产品评论情感分析提示词 v2.3

#### 用途

用于电商平台客户评论的自动情感分析

#### 最终版本

[完整提示词内容]

#### 优化历史

- v1.0：初始版本
- v1.5：添加混合情感支持
- v2.0：增加讽刺检测
- v2.3：优化格式一致性

#### 已知限制

- 对口语化表达识别准确率略低
- 多语言混合评论支持有限

#### 测试结果

综合准确率：92%

4.4.7 自动化测试建议

对于生产环境中的重要提示词，建议建立自动化测试机制：

# 提示词自动化测试伪代码

test_cases = [
    {"input": "...", "expected_sentiment": "positive"},
    {"input": "...", "expected_sentiment": "negative"},
    ...
]

def run_prompt_test(prompt_template, test_cases):
    results = []
    for case in test_cases:
        response = call_llm(prompt_template.format(input=case["input"]))
        is_correct = evaluate(response, case["expected"])
        results.append({"case": case, "response": response, "pass": is_correct})
    return calculate_metrics(results)

实践建议

1. 选择一个你正在处理的真实任务，按“初始版本→分析不足→改进→再测试”的流程迭代三轮，记录每轮的变化和效果。

2. 什么信号告诉你“该停止迭代了”？你如何避免在提示词优化上过度投入时间？