第 4 节 · 本站原创中文课程 · 建议 25 分钟
第四课：训练、推理和温度
学完能做：区分更新参数与生成文本，设计一次单变量对照。
小鱼模型实验 · 用自己的话写下发现，保留实际观察与待验证的问题。
训练怎样纠正预测
训练时给定前文，让模型预测真实的下一个 token；损失衡量给正确答案的概率是否足够高，再通过反向传播与优化器更新参数。损失下降代表在该目标上拟合得更好，不自动代表事实更可靠。本站计数实验只重新统计次数，没有这个过程。
推理不是每问一句就训练一次
推理时通常固定参数，逐个生成 token，再把生成结果接回上下文。温度调整采样分布：在常见温度缩放下，较低正温度使分布更集中，较高温度使分布更平坦。它改变采样，不会增添知识；具体实现对零温度可能另作处理。
选做：观察真实项目
项目 README 提供浏览器本地推理和 Colab 训练／对话入口。可由老师安排，先使用虚构输入；外部平台的账号、资源和使用条件另行适用。训练笔记本需要合适的运行环境，作者的耗时示例不是保证。若不运行，写“未运行”，用伪代码说明训练与推理的不同即可。
这是本站独立编写的讲解与示例，并非官方课程逐字翻译。理解之后，请完成下面的练习、自测和笔记。