第 7 节 · 本站原创中文课程 · 建议 30 分钟
第七集：训练诊断、clip 与 KL
学完能做：用训练指标与独立评测发现不稳定更新和奖励投机。
建议时间仅指中文导读与练习，不含官方视频和本地实验。代码请在自己的 Python / PyTorch 环境运行。
不要只看一条奖励曲线
把训练奖励、独立验证正确率、回答长度和解析失败率对齐到同一 checkpoint。奖励涨而正确率不涨，先抽查高奖励错误样本。格式奖励尤其要检查是否鼓励冗长模板或错误答案。
一次只增加一个稳定项
在相同初始权重、数据和预算下，分别比较基线、加入 clip、加入 KL 的版本。记录熵、优势分布、clip 比例和 KL 指标的实际定义。KL 估计不是自动的安全保证，不能把某个简化实现的数值直接当成所有分布差异。
先查投机，再扩大计算
本站练习要求给奖励函数列出三个攻击用例：只输出格式标记、混入多个答案、复制能触发解析器的片段。奖励函数和验证器的修订单独版本化，修订前后的分数不直接混在一条曲线中。
这是本站独立编写的讲解与示例，并非官方课程逐字翻译。理解之后，请完成下面的练习、自测和笔记。
参考来源：Sebastian Raschka · Building Reasoning Models from the Ground Up