第 2 节 · 本站原创中文课程 · 建议 30 分钟
第二集：跑通生成与 KV cache
学完能做：建立固定输入的生成基线，分别验证正确性与速度。
建议时间仅指中文导读与练习，不含官方视频和本地实验。代码请在自己的 Python / PyTorch 环境运行。
先写基线契约
在实验档案里固定题目、模型权重、生成上限和停止条件。保存原始输出，不先凭肉眼选一条‘最好看’的回答。后续优化都复用这组条件，让输出差异有依据可查。
缓存要验证边界
KV cache 的练习重点是复用历史注意力计算，同时正确管理新 token 的位置和缓存状态。设计同一提示的缓存开关对照，再连续输入两道无关题，检查上一题的状态有没有泄漏进下一题。
计时包含哪些工作？
分别记录模型加载、首次运行与预热后的生成时间。比较 torch.compile 时把编译时间单列，固定生成 token 数，并对异步设备做必要同步。若设备不支持某配置，报告不支持原因，不把该项计为零耗时。
这是本站独立编写的讲解与示例，并非官方课程逐字翻译。理解之后，请完成下面的练习、自测和笔记。
参考来源：Sebastian Raschka · Building Reasoning Models from the Ground Up