第 6 节 · 本站原创中文课程 · 建议 30 分钟
第六集：理解并实现简化 GRPO
学完能做：追踪一次奖励到相对优势、损失和参数更新的数据流。
建议时间仅指中文导读与练习，不含官方视频和本地实验。代码请在自己的 Python / PyTorch 环境运行。
训练前先验证奖励
先用已经人工核实的答案检查奖励函数，再把它接进训练。为每个提示保留组内候选、验证结果和奖励，检查是否存在‘格式看起来对就拿满分’的问题。测量工具本身有错时，不应先扩大训练。
用小数组手算组内信号
本站练习先对 [0, 0, 1, 1] 的奖励求均值和标准差，再计算相对优势。对 [1, 1, 1, 1] 单独检查零方差处理。组内相对信号用于比较候选，不代表每个训练样本都能产生有效梯度。
最小训练也要可恢复
对照官方代码，画出采样、答案 token 掩码、log probability、损失、反向传播与 checkpoint 的顺序。先做少量更新，监控非有限损失和内存峰值；保存数据版本和恢复信息。没有运行训练时，提交手算与代码走读记录即可，但不填写虚构成绩。
这是本站独立编写的讲解与示例，并非官方课程逐字翻译。理解之后，请完成下面的练习、自测和笔记。
参考来源：Sebastian Raschka · Building Reasoning Models from the Ground Up