第 5 节 · 本站原创中文课程 · 建议 25 分钟
第五课：用测试集发现失败
学完能做：计算目标匹配率，解释测试泄漏与小样本局限。
小鱼模型实验 · 读完后到练习区动手，先预测，再记录结果。
先约定目标再看结果
本站固定卡片为“喜欢→海草”“吐→气泡”“住在→海里”，逐项比较基线预测与目标。匹配率=匹配数÷总测试数；未知输入也计入分母，并另外统计未知数。这是精确匹配指标，不是通用语言质量评分；气泡接在喜欢后也可能合理，却不满足本次预设目标。
看分项，不只看总分
基础组是1/3，另外两项未知；“更多动作”组加入相应例子后是3/3。测试后针对这三题改了数据，相当于拿测试反馈调模型，成绩只能说明这三题的变化。真实研究应保留没参与修改的独立测试集；GuppyLM 项目给出57000条训练和3000条测试对话。
留一组真正的新题
在改动前写下至少3张额外测试卡，封存目标，不用它们选数据或调规则。课堂三题太少，不能据此推算所有任务的成功率。本站基线确定性运行，重复三次不会产生新证据；真实随机采样则可用多次运行记录波动。
这是本站独立编写的讲解与示例，并非官方课程逐字翻译。理解之后，请完成下面的练习、自测和笔记。