T learn.traeai

第 5 节 · 本站原创中文课程 · 建议 25 分钟

验证收益与泛化

学完能做:避免测试泄漏,比较质量与成本。

三版本公平比较

相同任务、模型和工具对比基线、技能、技能加图。按任务类型分层看,多次运行记录波动,别把幸运轮当稳定提升。

测试不能进入提炼材料

技能从开发轨迹来,独立测试不参与提炼。若技能写入测试答案,测的是记忆不是泛化。分母为实际执行数量。

版本 | 成功/实际运行 | 工具次数 | 费用 | 关键失败
baseline | 待测 | 待测 | 待测 | 待测
skills-v1 | 待测 | 待测 | 待测 | 待测
skills+graph | 待测 | 待测 | 待测 | 待测

何时再考虑模型适配

检索和行为已验证仍稳定失败时才评估微调,需要训练资料、独立测试、计算与回退。两条成功轨迹不能推出训练必要性;自评分不是效果证据。

这是本站独立编写的讲解与示例,并非官方课程逐字翻译。理解之后,请完成下面的练习、自测和笔记。

参考来源:Building Adaptive AI Agents

动手,把理解变成成果

本节练习

正在读取本机草稿…

设计三版本实验,分开发/测试,列质量成本、泄漏检查及微调条件。

30 / 6000 字。本页不执行代码;可下载后在本地运行,或用 Agent 获取定性建议。

给我一个提示

调用少但成功率低,不一定进步。

查看参考思路(本站预写,非实时 Agent)

固定仓库模型,测试不提炼;看成功、费用、权限失败,检索瓶颈后再评估微调。

人工自评:逐项核对自己的作品

这些勾选由你确认,不是自动测试结果。遇到待测项,请在作品里明确注明。

理解自测

哪种是测试泄漏?

自己的学习笔记

0 / 3000 字 · 仅保存在此浏览器

围绕当前章节学习

Agent 答疑与作品评价

正在检查连接…

本站讲解、提示、参考思路和自测可独立使用。连接模型服务后,才能实时提问或评价;这里不会把预写内容伪装为 Agent 回答。

走完学习闭环

完成本节

保留练习、勾选人工自评并通过自测后,可记录完成。修改作品或答案会重新打开本节。

课程进度:0 / 6 · 本机记录,不是外部官方证书

下一节:项目:Agent 改进实验报告 →
← 上一节:代码关系图辅助检索