第 5 节 · 本站原创中文课程 · 建议 25 分钟
验证收益与泛化
学完能做:避免测试泄漏,比较质量与成本。
三版本公平比较
相同任务、模型和工具对比基线、技能、技能加图。按任务类型分层看,多次运行记录波动,别把幸运轮当稳定提升。
测试不能进入提炼材料
技能从开发轨迹来,独立测试不参与提炼。若技能写入测试答案,测的是记忆不是泛化。分母为实际执行数量。
版本 | 成功/实际运行 | 工具次数 | 费用 | 关键失败
baseline | 待测 | 待测 | 待测 | 待测
skills-v1 | 待测 | 待测 | 待测 | 待测
skills+graph | 待测 | 待测 | 待测 | 待测 何时再考虑模型适配
检索和行为已验证仍稳定失败时才评估微调,需要训练资料、独立测试、计算与回退。两条成功轨迹不能推出训练必要性;自评分不是效果证据。
这是本站独立编写的讲解与示例,并非官方课程逐字翻译。理解之后,请完成下面的练习、自测和笔记。