01 · 先让评分可信
评测应覆盖实际任务，并让不同评审者能给出一致判断。固定输出优先用程序检查；开放式输出需要明确评分标准，并抽样人工复核。
02 · 每轮只改变一个因素
一次同时更换模型、提示词和工具，很难解释得分变化。保留基线和运行配置，每次提出一个可撤回的修改，重复运行以观察波动。
03 · 隔离用于优化的案例
用训练案例分析错误，用未参与优化的保留集检查泛化。原文介绍的 build-eval 与 hillclimb 是这一流程的工具入口，能力与参数要以当前版本为准。
以上为 Learn 独立编写的中文导读；原文中的完整演示、代码与版本细节，请核对官方文章。下面的练习和自测为本站原创，不是原作者的作业。
MAKE IT YOURS
动手练习
给邮件分类器建一套小评测
自拟 12 封邮件及预期分类，留出其中 4 封不参与调参。只修改一次分类规则，对比优化前后结果。
- 案例、标签和评分规则
- 训练集与保留集的分组
- 一次修改及两组结果，不把保留集答案写入提示词
正在读取此设备的学习记录……