第 4 节 · 本站原创中文课程 · 建议 25 分钟

04 · 投机解码:快,同时保持分布

学完能做:用小概率表理解草稿、验证与拒绝采样。

草稿与目标各有职责

草稿模型生成候选 token,目标模型批量验证。有效加速来自一次验证接受多个候选,但额外草稿成本和接受率可能抵消收益。贪心验证与随机采样的正确性条件要分别讨论。

拒绝采样的关键步骤

设目标分布 p、草稿分布 q,候选 x 按 min(1,p(x)/q(x)) 接受。拒绝后从归一化的 max(p−q,0) 残差分布采样。保分布需要整个过程正确,也包括条件前缀、采样变换和额外 token 的处理,不能只保留概率较高的草稿。

树和多头仍要验收

Medusa、MTP、EAGLE 等用不同方式构建或预测候选,树结构还需要正确的注意力掩码与缓存管理。先验证输出统计或确定性结果,再测吞吐、延迟和额外显存;不把分享中的新方法名称等同于统一的加速倍数。

这是本站独立编写的讲解与示例,并非官方课程逐字翻译。理解之后,请完成下面的练习、自测和笔记。

参考来源:Jia-Bin Huang · AI Training and Inference

动手,把理解变成成果

本节练习

正在读取本机草稿…

设 p=(0.6,0.4),q=(0.8,0.2)。计算两个候选的接受概率和拒绝后的残差分布,并写出一个模拟验证方案。

43 / 6000 字。本页不执行代码;可下载后在本地运行,或用 Agent 获取定性建议。

给我一个提示

逐项计算 p−q,把负数截为零后归一化。

查看参考思路(本站预写,非实时 Agent)

a 接受概率 0.75,b 为 1;拒绝后的残差为 (0,1)。重复模拟并检查输出频率接近 (0.6,0.4),同时记录抽样误差;该模拟不代表真实 LLM 加速。

人工自评:逐项核对自己的作品

这些勾选由你确认,不是自动测试结果。遇到待测项,请在作品里明确注明。

理解自测

只留下目标模型认为更好的草稿,能保证相同采样分布吗?

自己的学习笔记

0 / 3000 字 · 仅保存在此浏览器

围绕当前章节学习

Agent 答疑与作品评价

正在检查连接…

本站讲解、提示、参考思路和自测可独立使用。连接模型服务后,才能实时提问或评价;这里不会把预写内容伪装为 Agent 回答。

走完学习闭环

完成本节

保留练习、勾选人工自评并通过自测后,可记录完成。修改作品或答案会重新打开本节。

课程进度:0 / 9 · 本机记录,不是外部官方证书

← 上一节:03 · LoRA 家族:降低适配成本