任务设计、评估与验收样本
把业务目标转化为可复现的任务,用真实样本衡量交付质量。
先建立人工基线
选取一段完整业务周期,记录当前每次任务的耗时、出错位置和人工复核时间。衡量 AI 带来的变化时,应包含资料准备、等待和返工,不能只比较生成耗时。首次试点固定资料范围,避免输入变化掩盖质量差异。
把目标写成可检查的条件
例如“减少报告整理时间”应同时约定报告范围、计算口径、人工复核量和可接受异常。目标由业务负责人确认,再决定是否适合交给 Agent。
| 维度 | 检查方法 | 示例目标 |
|---|---|---|
| 数据一致性 | 与批准样本逐项核对 | 汇总额一致,差异逐项列出 |
| 可追溯性 | 抽查结论对应来源 | 关键数字均能找到依据 |
| 人工工作量 | 记录准备、复核及返工时间 | 较基线改善,幅度由试点确定 |
| 越权行为 | 用拒绝样本测试 | 越权读取和未批准外发均被阻止 |
覆盖正常与异常路径
样本至少包含完整资料、缺字段、重复数据、相互矛盾的规则、超范围请求和第三方超时。对没有答案的输入,正确结果可能是说明不足并升级,而不是生成一个看似完整的结论。
固定版本后执行评估
记录任务说明、技能版本、模型配置、样本版本和输出摘要。对非确定性结果可重复抽测,并记录波动;评估通过只证明已测范围,不应外推到所有场景。业务制度或连接方式变化后,重跑受影响样本。
将失败转化为明确修改
把错误分为输入不足、知识过期、工具失败、权限问题和结果不合格,分别指定责任人。一次修改对应可验证的问题,保留修改前后结果。通过业务验收后,再将任务扩展到更多数据和执行频率。