先抛个问题：你在云上租了8张A100，高高兴兴把模型扔上去，用官方DDP脚本跑起来，然后发现加速比只有5倍不到。你心里骂娘，想着是不是代码写错了。但实话告诉你，很可能不是你的错——数据并行本身，就没你想的那么“线性”。
我第一次碰数据并行是在一个ResNet50实验上，结果4卡比单卡还慢，后来排查半天，发现是数据加载器成了瓶颈。你说气不气人。
数据并行到底并行了什么？
数据并行的底层逻辑，特别朴素：把一批训练数据切成N份，每个GPU各拿一份，各自做前向和反向，得到一份梯度。然后呢？关键在于怎么把梯度“合起来”。这里有两个流派：参数服务器和AllReduce。参数服务器就像老师收作业——所有学生把梯度提交给老师，老师算好平均，再把新参数发回去。AllReduce则是同学之间互相对作业，没有中心节点，本质上是在节点间做同步归约。
问题就在这。同步归约需要通信，而通信是有代价的。假设你有一台8卡机，用的是NVLink，带宽600GB/s，通信开销几乎忽略。但如果你把8台机器凑在一起，靠千兆以太网做数据并行，那么每次同步梯度都像用细水管排水——训练时间全被通信卡死。
我经常看到有人把数据并行喊成“分布式训练”，然后理所当然地以为加速比是线性的。哪来的道理？线性加速的前提是通信开销为零。但现实是，梯度同步的频率和模型大小成正比。模型越大，同步的数据量越大，通信时间越长。这就是为什么很多大模型训练会转向模型并行，直接把模型切开，而不是只把数据分开。
性能数据：别信广告，信实测
我这里有一个真实压测案例，用的是BERT-Large微调，数据并行，规模从1卡到8卡，显卡是V100，用NCCL做AllReduce，混合精度。单卡吞吐量是5800条样本/秒。理想情况下，8卡应当是46400，但实际只跑到30160，加速比5.2倍。剩下的2.6倍去哪了？全耗在通信和同步等待上了。
让我们从数学上看看这个瓶颈。假设每步计算量为C，通信量为M，缩放后每卡计算时间变为C/N（N为卡数），但同步通信时间仍为M/B（B为带宽）。那么实际单步时间T = C/N + M/B。理想加速比S_ideal = C / (C/N) = N。实际加速比S = C / (C/N + M/B) = N / (1 + (N * M)/(C * B))。所以当N增大时，分母中的(N*M)/(C*B)线性增长，加速比必然饱和。你把BERT-Large的梯度大小M算出来，再用NVLink的带宽B代进去，就能解释为什么8卡时只有5倍多。
我们进一步做了优化。第一，把梯度同步的粒度从“每层”改成“整体”，减少同步次数；第二，用NCCL的Ring-AllReduce，而不是简单的树形归约。这样一来，通信时间从每步800毫秒降到430毫秒，吞吐量提升到37400，加速比6.45倍。还不够？再加梯度压缩，把浮点梯度量化为8位，通信量减一半，最终吞吐量41200，加速比7.1倍。
这还不是极限。如果你换用异步SGD，抛弃全局同步，加速比可以冲到7.5倍以上，但收敛曲线开始震荡——对准确率要求高的任务，异步SGD常常让你怀疑人生。我见过有人贪图速度用异步，跑了三天，acc愣是上不去，最后老老实实调回同步。
所以，数据并行的性能天花板，其实是由通信和计算的重叠程度决定的。真正优秀的工程实现，是把通信藏在计算背后，让GPU在等梯度的时候也在算别的batch。
落地过程中的三个坑
第一坑：数据集划分不当。你以为用DDP就万事大吉？如果你不显式地对每个进程设置不同的随机种子和采样器，那么每个GPU喂进去的batch可能完全一样。这样训练出的模型，梯度被平均过，但本质上每个GPU在算同一份样本的梯度——效率直接砍半。解决方案很简单：用分布式采样器，保证每个进程拿到的是全局数据的一个无放回分片，并且每轮epoch重新洗牌。这在PyTorch里就是DistributedSampler一行代码的事，但漏掉的人比比皆是。
第二坑：通信同步策略死板。很多框架默认同步SGD，可你的集群网络要是有抖动，同步会导致慢节点拖死全队。这时候你必须引入“过时阈值”，允许一部分节点延迟几个批次，但又不至于太异步。专业说法叫“受限过时异步”，其实就是在同步和异步之间找平衡。我踩过的教训是：用1000个worker做训练时，全同步几乎无法收敛，因为总有节点掉队；后来改成局部同步（比如每10个节点一组内部同步，组间异步）才稳定。这个坑的关键，在于你要监控每个节点的完成时间分布，而不是拍脑袋定阈值。
第三坑：梯度压缩用错了地方。梯度压缩确实能减少通信，但如果你把梯度压缩到4位，然后不做误差补偿，模型精度会掉得让你懵。解决方案是使用误差反馈机制——把量化误差存下来，下一次补偿回去。这个技巧在混合精度训练里尤其重要，不是简单地把梯度从float32截断成float16就完事了。你要知道，FP16的尾数精度只有约3位十进制，累积误差一大，loss就飞了。
当然，这三个坑不是全部。但如果你能躲开它们，数据并行基本就能跑出八成的效果了。剩下那两成，得看你调度器的脸色了。
好了，今天就聊到这儿。如果下次你的训练卡成狗，先从数据并行的通信开销查起，别一上来就怀疑自己的显卡是假的。
