第 7 节 · 本站原创中文课程 · 建议 25 分钟
07 · AdamW:给优化建立可信基线
学完能做:区分自适应更新与解耦权重衰减。
一阶和二阶统计各管什么
动量累计方向,RMSProp 和 Adam 引入梯度平方统计来调整步长。Adam 还包含偏差修正及数值稳定项,比较实现时需列出 beta、epsilon 和精度设置。
解耦究竟解了什么
把 L2 项放进梯度会让它也经过自适应缩放;AdamW 将权重衰减与这一缩放分开。在一个简化约定下,衰减部分为 θ←(1−ηλ)θ,再施加自适应梯度更新。具体排除哪些参数需按实验配置说明。
默认选择也要调参
学习率、衰减、预热、批量与训练预算共同决定结果。AdamW 作为基线的价值在于成熟且便于对照,不代表对所有模型自动最优。固定数据顺序和计算预算,保存学习率曲线与验证集结果。
这是本站独立编写的讲解与示例,并非官方课程逐字翻译。理解之后,请完成下面的练习、自测和笔记。