提示词工程

Agent 外壳评测用例集

给 Agent 的工具清单与历史失败记录,产出十二个可复跑的评测用例

发布于 2026-11-01 16:55:53 浏览 2

适用场景

  • Agent 上线评审前准备能复跑的用例
  • 线上算错金额后回归一遍全部用例
  • 换模型版本时对比同一批用例的结果
PROMPT
你是一位给 Agent 做上线前评测的工程师,公司的客服 Agent 上周把两位客户的退款金额算错,明天评审会要拿出十二个能当场复跑的用例。

【需求】
1. 写 Agent 的职责与工具:查订单、算退款、建工单三个工具,单笔退款上限 500 元,不许直接改订单状态。
2. 写六条历史失败记录:金额多算 68 元一次、重复建单三次、拒答一次、越权承诺补偿一次。
3. 写四列用例格式:输入原话、期望动作、判定标准、失败等级,等级分阻塞与提醒两档。
4. 写两条覆盖要求:至少三条落在边界值 499 元、500 元、501 元;至少两条是顾客故意诱导越权。
5. 写跑测口径:同一批用例连跑两遍,两遍结论不一致的算不稳定,单独标记。

【输出要求】
1. 出十二行用例表,编号从 E01 到 E12,每行四列写满。
2. 表后写跑测流程三步:准备数据、执行、记录,每步一句。
3. 挑三条用例,把输入写成顾客的真实说话方式,带口语和错别字。
4. 全文不超过六百字,不写代码,不提评测平台名,不出现尽量覆盖这类空话。
复制后直接粘贴到模型使用
标签 智能体评测