第 5 节 · 本站原创中文课程 · 建议 25 分钟
用评测定位错误与成本
学完能做:构建开发与独立测试样本。
先写预期
准备完整、缺失、冲突、超长、无权限和伪指令案例。信息不足应承认缺口,不能每题都要求完整答案。先定义标准防止事后迎合结果。
质量与过程分开
看任务、引用以及工具次数、时间和费用。模型自评分是定性信号,不代替标注与确定检查。失败分类到检索、理解、工具或权限。
case | 预期 | 实际 | 错误类 | 工具次数 | 时延
missing_owner | 待确认 | 待测 | 待测 | 待测 | 待测
conflict_dates | 列冲突 | 待测 | 待测 | 待测 | 待测 保留独立样本
调提示词用的样本不应作为最终唯一测试。固定模型与环境,每次改一个因素。越权错误不能被总体平均掩盖,必须单独处理。
这是本站独立编写的讲解与示例,并非官方课程逐字翻译。理解之后,请完成下面的练习、自测和笔记。
参考来源:Agentic AI