开云体育 
开云体育官方DeepSeek开源第4弹：优化的并行策略
2025-04-12
浏览次数：
次
返回列表
DualPipe - 用于V3/R1训练中计算-通信重叠的双向管道并行算法。
DualPipe是DeepSeek-V3技术报告中引入的创新双向管道并行算法。它实现了正向和后向计算通信阶段的完全重叠，也减少了管道气泡。
使用专家并行（EP）时，不同的专家被分配到不同的GPU。由于不同专家的负载可能因当前工作量而异，因此保持不同GPU的负载平衡很重要。正如DeepSeek-V3论文中所述，采用了冗余专家策略，复制了繁重的专家。然后，我们启发式地将重复的专家打包到GPU中，以确保不同GPU之间的负载平衡。此外，由于DeepSeek-V3中使用的组有限专家路由，我们还尝试尽可能将同一组的专家放置在同一节点上，以减少节点间数据流量。
