第 2 节 · 本站原创中文课程 · 建议 25 分钟

02 · 五维并行:画出计算和通信

学完能做:按数据、张量、上下文、流水线与专家划分负载。

切分的对象不同

数据并行分样本,张量并行分层内矩阵计算,上下文并行分长序列,流水线并行分层或阶段,专家并行分 MoE 专家。序列并行与上下文并行的实现语义不总相同,规划时必须注明使用的框架与具体切法。

通信发生在哪里

张量并行可能需要 all-reduce、all-gather 或 reduce-scatter;流水线传递阶段激活及梯度;专家路由常涉及 all-to-all。上下文分片仍要处理跨分片注意力,不能把序列切开就当成彼此独立的样本。

先放得下,再减少等待

从模型形状、序列长度和硬件拓扑出发,优先安排通信紧密的组,再选择流水线微批数并测量气泡。GPipe、1F1B 和减少气泡的调度有不同的激活与通信成本,不应只比较名字。五个并行度不一定能不加说明地相乘,专家组有时嵌在其他组内。

这是本站独立编写的讲解与示例,并非官方课程逐字翻译。理解之后,请完成下面的练习、自测和笔记。

参考来源:Jia-Bin Huang · AI Training and Inference

动手,把理解变成成果

本节练习

正在读取本机草稿…

为 8 张卡画一个简化 DP=2、TP=2、PP=2 的分组图,暂不使用上下文和专家并行。标出每条通信的内容,并说明增加长上下文后先检查什么。

40 / 6000 字。本页不执行代码;可下载后在本地运行,或用 Agent 获取定性建议。

给我一个提示

用 (dp, pp, tp) 三元组给卡编号,先画单个副本的两阶段,再复制一份。

查看参考思路(本站预写,非实时 Agent)

每个 DP 副本有两阶段,每阶段两卡 TP。阶段之间传递激活和梯度,相应 DP 组同步梯度。增加上下文后先测激活峰值和注意力开销,再决定是否引入上下文切分。

人工自评:逐项核对自己的作品

这些勾选由你确认,不是自动测试结果。遇到待测项,请在作品里明确注明。

理解自测

增加并行度一定提高吞吐吗?

自己的学习笔记

0 / 3000 字 · 仅保存在此浏览器

围绕当前章节学习

Agent 答疑与作品评价

正在检查连接…

本站讲解、提示、参考思路和自测可独立使用。连接模型服务后,才能实时提问或评价;这里不会把预写内容伪装为 Agent 回答。

走完学习闭环

完成本节

保留练习、勾选人工自评并通过自测后,可记录完成。修改作品或答案会重新打开本节。

课程进度:0 / 9 · 本机记录,不是外部官方证书

← 上一节:01 · ZeRO 与 FSDP:先算清显存