摩尔线程成功支持 DeepSeek 开源通信库 DeepEP 和并行算法 DualPipe

2025-02-28 10:31:42板才软件园

本站 2 月 27 日消息，在 DeepSeek 开源周第四日，摩尔线程宣布已成功支持 DeepSeek 开源通信库 DeepEP 和并行算法 DualPipe，并发布相关开源代码仓库：MT-DeepEP 和 MT-DualPipe。

据介绍，DeepEP 是一个用于 MoE（混合专家）模型训练和推理的开源 EP（expert parallelism，专家并行）通信库，主要适用于大模型训练，特别是需要 EP 的集群训练。它通过优化通信信道的使用率，提升了训练效率。摩尔线程基于 MUSA Compute Capability 3.1 全功能 GPU 适配了 DeepEP，并支持以下特性：

高效优化的 All-to-All 通信，支持 dispatch & combine

支持 MTLink + GPU（MUSA Compute Capability 3.1）节点内通信

训练及推理预填充阶段的高吞吐量计算核心

推理解码阶段的低延迟计算核心

原生支持 FP8 数据分发

灵活控制 GPU 资源，实现计算与通信的高效重叠

DualPipe 是 DeepSeek-V3 提出的双向流水线并行算法，通过前向计算与后向计算阶段的计算与通信完全重叠，减少了“流水线气泡”（设备空闲等待）。摩尔线程依托深度学习框架 Torch-MUSA（已开源）和 MUSA 软件栈全方位的兼容性，实现了对 DualPipe 这一算法的支持。

目前，MT-DualPipe 可以完整接入摩尔线程 MT-Megatron 框架和 MT-TransformerEngine 框架（即将开源），实现 DeepSeek V3 训练流程完整复现。此外，MT-DualPipe 结合 MT-Megatron 可实现完整 DeepSeek V3 模型 MLP-FFN 分离以及 DW-DG 分离，进一步降低气泡占比，优化通信效率。同时，MT-DualPipe 与 MT-TranformerEngine 和 MT-DeepEP 的结合，可利用 MT-DeepEP 和异步通信引擎实现更高效的通信掩盖，降低对计算资源损耗。

本站附 Torch-MUSA 开源地址如下：

https://github.com/MooreThreads/Torch_MUSA

同类推荐更多

为什么“啊┅┅快┅┅用力啊小熊视频”如此受欢迎？揭秘视频背后的秘密与创作方式

最火的游戏攻略

2025-02-10

在互联网时代，各种有趣、搞笑的视频内容层出不穷。近期，一段名为“啊┅┅快┅┅用力啊小熊视频”在网络上引发了广泛关注。许多人被视频中的情节和画面吸引，而这个视频背后也有它独特的魅力。视频的内容虽然简单，但却能够勾起观众的好奇心和笑点。接下来，我们一起来分析一下这段视频的受欢迎原因。视频内容的吸引力 “啊┅┅快┅┅用力啊小熊视频”表面上看似普通，实际上它通过幽默的场景和夸张的表现手法引起了观众的关

新品榜/热门榜

资讯推荐更多

隐私声明

严格遵守法律法规，遵循以下隐私保护原则，为您提供更加安全、可靠的服务：

1、安全可靠：

我们竭尽全力通过合理有效的信息安全技术及管理流程，防止您的信息泄露、损毁、丢失。

2、自主选择：

我们为您提供便利的信息管理选项，以便您做出合适的选择，管理您的个人信息

3、保护通信秘密：

我们严格遵照法律法规，保护您的通信秘密，为您提供安全的通信服务。

4、合理必要：

为了向您和其他用户提供更好的服务，我们仅收集必要的信息。

5、清晰透明：

我们努力使用简明易懂的表述，向您介绍隐私政策，以便您清晰地了解我们的信息处理方式。

6、将隐私保护融入产品设计：

我们在产品和服务研发、运营的各个环节，融入隐私保护的理念。

本《隐私政策》主要向您说明：

我们收集哪些信息我们收集信息的用途您所享有的权利

希望您仔细阅读《隐私政策》

为了让您有更好的体验、改善我们的服务或经您同意的其他用途，在符合相关法律法规的前提下，我们可能将通过某些服务所收集的信息用于我们的其他服务。例如，将您在使用我们某项服务时的信息，用于另一项服务中向您展示个性化的内容或广告、用于用户研究分析与统计等服务。

若您使用服务，即表示您认同我们在本政策中所述内容。除另有约定外，本政策所用术语与《服务协议》中的术语具有相同的涵义。

如您有问题，请联系我们。