学习系列课M3 · M3 · 职业版 Agent · 第 3 讲

智能体与自动化 · M3 · 职业版 Agent · 第 3 讲

第 3 讲:评测与验证

把“做了没验”变成硬步骤

本模块 0 / 12 讲

一个真实故障

Agent 改完代码,回复“已完成,测试通过”。你打开一看:测试根本没跑,它只是“觉得”没问题。第二天上线,接口 500。

Agent 最常见的失败不是不会做,而是做了没验。这一讲把“验证”变成流程里的硬步骤。

本讲目标

一、三层验证

本讲第 1 张表:一、三层验证
层 做什么 谁来做
自动检查 跑测试、校验格式、比对字段 程序
评测集 20 条真实任务,统计通过率 程序 + 人
人工抽检 看语气、判断、边界 人

只有第一层,容易“跑通但不对”;只有第三层,规模上不去。

二、把标准写成断言

“回答要准确”不可执行。改成:

每条都能写成一行检查。写不出检查的标准,先不算标准。

三、20 条评测集怎么配

本讲第 2 张表:三、20 条评测集怎么配
类型 数量 例子
正常 8 标准输入、常见任务
边界 6 空值、超长、多语言
失败 4 缺字段、权限不足、超时
对抗 2 诱导越权、提示注入

每条记录:输入、期望、判定方式、实际结果。评测集要版本化,改一次记一次。

四、验证循环

  1. 执行:Agent 产出结果;
  2. 检查:跑断言与测试;
  3. 诊断:失败归因(输入错/工具错/逻辑错);
  4. 重试:只重试可恢复错误,最多 2 次;
  5. 升级:仍失败则转人工,附日志。

重试不是“再跑一遍”,而是带着诊断信息修一处再跑。

五、停止条件

必须在系统提示或编排层写死:

没有停止条件的 Agent,迟早会烧掉一笔预算。

六、指标怎么看

本讲第 3 张表:六、指标怎么看
指标 健康值 说明
通过率 ≥ 80% 低于就先别上线
一次成功率 ≥ 60% 反映稳定性
平均步数 稳定 突然上升说明在瞎试
人工介入率 可解释 太高说明能力不足
单任务成本 有上限 按周统计

七、30 分钟练习

  1. 为一个任务写 5 条可执行断言(10 分钟);
  2. 配 10 条评测(正常 4、边界 3、失败 2、对抗 1)(10 分钟);
  3. 画出验证循环与停止条件(5 分钟);
  4. 跑一遍,记录通过率与失败归因(5 分钟)。

八、验收清单

九、延伸阅读


下一讲:常驻 Agent 与成本控制。验证过关后,才谈 7×24 运行。