第 8 节 · 本站原创中文课程 · 建议 25 分钟
08 · Muon 与 MuonClip:矩阵更新的取舍
学完能做:区分矩阵正交化、参数分组和注意力稳定化。
从逐元素缩放转向矩阵结构
Muon 对适用矩阵参数的动量做近似正交化,常用 Newton–Schulz 迭代计算。它与 AdamW 的逐元素统计不同;不要把近似迭代简化成对所有张量做精确 SVD,也不要默认所有向量参数都适用。
参数形状影响配置
矩阵维度、学习率缩放、衰减和精度都会改变行为。常见实践对矩阵与其他参数分组,其他参数可能继续用 AdamW。需要记录具体实现、哪些参数用哪种优化器,以及额外矩阵运算的开销。
稳定化与效率分别验收
MuonClip 相关讨论涉及注意力 logit 增长和 QK 裁剪等机制。先核对适用架构和公式,再测梯度范数、logit 范围与训练曲线。‘效率翻倍’属于特定实验结论,必须说明预算、硬件和质量目标,不能推广为普遍收益。
这是本站独立编写的讲解与示例,并非官方课程逐字翻译。理解之后,请完成下面的练习、自测和笔记。