第 4 节 · 本站原创中文课程 · 建议 25 分钟
04 · 投机解码:快,同时保持分布
学完能做:用小概率表理解草稿、验证与拒绝采样。
草稿与目标各有职责
草稿模型生成候选 token,目标模型批量验证。有效加速来自一次验证接受多个候选,但额外草稿成本和接受率可能抵消收益。贪心验证与随机采样的正确性条件要分别讨论。
拒绝采样的关键步骤
设目标分布 p、草稿分布 q,候选 x 按 min(1,p(x)/q(x)) 接受。拒绝后从归一化的 max(p−q,0) 残差分布采样。保分布需要整个过程正确,也包括条件前缀、采样变换和额外 token 的处理,不能只保留概率较高的草稿。
树和多头仍要验收
Medusa、MTP、EAGLE 等用不同方式构建或预测候选,树结构还需要正确的注意力掩码与缓存管理。先验证输出统计或确定性结果,再测吞吐、延迟和额外显存;不把分享中的新方法名称等同于统一的加速倍数。
这是本站独立编写的讲解与示例,并非官方课程逐字翻译。理解之后,请完成下面的练习、自测和笔记。