第 3 节 · 本站原创中文课程 · 建议 25 分钟

03 · LoRA 家族:降低适配成本

学完能做:区分训练参数、量化骨干与低秩更新的成本。

低秩更新有多少参数

冻结 W0,只训练 ΔW=BA。若 W 为 d_out×d_in,A 为 r×d_in,B 为 d_out×r,可训练参数为 r(d_in+d_out),而非 d_in×d_out。常见随机 A、零 B 初始化让初始增量为零,但实际缩放和初始化需按实现核对。

几条变体分别解决什么

LoRA+ 为 A/B 使用不同学习率;QLoRA 量化冻结骨干并训练适配器;VeRA 使用共享冻结随机投影并训练缩放;DoRA 将幅度与方向分开处理。它们改变的对象不同,不能把名字互换或据此预言质量。

量化权重不是训练显存承诺

骨干量化会减少权重存储,但激活、优化器状态、量化元数据和算子临时空间仍在。单卡微调某个参数量的结果依赖上下文、批量、精度和重计算,不能直接把分享中的硬件数字作为自己的最低配置。

这是本站独立编写的讲解与示例,并非官方课程逐字翻译。理解之后,请完成下面的练习、自测和笔记。

参考来源:Jia-Bin Huang · AI Training and Inference

动手,把理解变成成果

本节练习

正在读取本机草稿…

对一个 4096×4096 矩阵,取 r=16,计算 LoRA 参数量与原矩阵的比例。设计同数据、同评测集的适配对照,说明量化骨干之外还测什么。

46 / 6000 字。本页不执行代码;可下载后在本地运行,或用 Agent 获取定性建议。

给我一个提示

比较单个被适配矩阵,不把这一比例当成整个模型的总比例。

查看参考思路(本站预写,非实时 Agent)

原矩阵 16,777,216,适配参数 131,072,占 0.78125%。固定测试题和生成参数,报告质量、峰值显存、耗时及未适配的模块。

人工自评:逐项核对自己的作品

这些勾选由你确认,不是自动测试结果。遇到待测项,请在作品里明确注明。

理解自测

QLoRA 是否表示所有计算和状态都变成 4 bit?

自己的学习笔记

0 / 3000 字 · 仅保存在此浏览器

围绕当前章节学习

Agent 答疑与作品评价

正在检查连接…

本站讲解、提示、参考思路和自测可独立使用。连接模型服务后,才能实时提问或评价;这里不会把预写内容伪装为 Agent 回答。

走完学习闭环

完成本节

保留练习、勾选人工自评并通过自测后,可记录完成。修改作品或答案会重新打开本节。

课程进度:0 / 9 · 本机记录,不是外部官方证书

← 上一节:02 · 五维并行:画出计算和通信