第 3 节 · 本站原创中文课程 · 建议 30 分钟
第三集：验证器与评测基线
学完能做：用边界用例检查评分器，并写出可复现的 MATH-500 评测记录。
建议时间仅指中文导读与练习，不含官方视频和本地实验。代码请在自己的 Python / PyTorch 环境运行。
把评分器当作需要测试的程序
本站练习先准备人工可判断的答案对：相等分数、不同符号、多个候选答案、缺失最终答案、格式错误。每条写预期与理由。不要把简单字符串相等当成一般数学等价，也不要把解析失败默默算成模型不会做题。
失败需要分型
给结果记录增加 extraction_status、verdict 与 failure_reason。这样能区分模型答案错误、提取器没找到答案和评分器判断失败。先人工复核少量样本，再扩到正式数据集。验证器以后还会影响训练奖励，误判值得单独统计。
固定评测才能比较
固定数据集版本、题目 ID、模型和生成参数。小样本冒烟测试用来排错，不宣称是完整 MATH-500 成绩；完整评测报告写分母、排除项与原始输出路径。评测集不参与后续训练或超参数选择。
这是本站独立编写的讲解与示例，并非官方课程逐字翻译。理解之后，请完成下面的练习、自测和笔记。
参考来源：Sebastian Raschka · Building Reasoning Models from the Ground Up