第 3 节 · 本站原创中文课程 · 建议 25 分钟
03 · LoRA 家族:降低适配成本
学完能做:区分训练参数、量化骨干与低秩更新的成本。
低秩更新有多少参数
冻结 W0,只训练 ΔW=BA。若 W 为 d_out×d_in,A 为 r×d_in,B 为 d_out×r,可训练参数为 r(d_in+d_out),而非 d_in×d_out。常见随机 A、零 B 初始化让初始增量为零,但实际缩放和初始化需按实现核对。
几条变体分别解决什么
LoRA+ 为 A/B 使用不同学习率;QLoRA 量化冻结骨干并训练适配器;VeRA 使用共享冻结随机投影并训练缩放;DoRA 将幅度与方向分开处理。它们改变的对象不同,不能把名字互换或据此预言质量。
量化权重不是训练显存承诺
骨干量化会减少权重存储,但激活、优化器状态、量化元数据和算子临时空间仍在。单卡微调某个参数量的结果依赖上下文、批量、精度和重计算,不能直接把分享中的硬件数字作为自己的最低配置。
这是本站独立编写的讲解与示例,并非官方课程逐字翻译。理解之后,请完成下面的练习、自测和笔记。