北京 – 近日，中国人工智能公司DeepSeek宣布开源其MoE（混合专家系统）训练和推理EP（专家并行）通信库DeepEP，引发业界广泛关注。这是DeepSeek继开源FlashMLA后，在“开源周”期间推出的又一重要底层技术创新，旨在解决MoE模型训练和推理过程中的通信瓶颈，提升效率。
MoE模型面临的挑战
随着人工智能模型规模的不断扩大，MoE架构因其能够有效提升模型容量和性能而备受青睐。然而，MoE模型在分布式系统中的训练和推理面临着诸多挑战，尤其是在多GPU环境下，需要高效地在各个处理单元之间传递数据。
MoE模型中，不同的“专家”需要频繁交换信息，这使得通信成为性能瓶颈。此外，MoE模型容易出现“专家并行”中的负载不均衡问题，导致部分“专家”算力不足，影响整体性能。
DeepEP：MoE模型的加速引擎
DeepEP的开源，正是为了解决上述问题。DeepSeek表示，DeepEP是首个专为MoE模型训练和推理设计的EP通信库，具备以下关键特性：
- 高效优化的All-to-All通信： 提升数据传输效率，减少通信延迟。
- 支持NVLink和RDMA的节点内/跨节点通信： 充分利用高性能硬件，加速数据传输。
- 训练及推理预填充阶段的高吞吐量计算核心： 提升训练和推理效率。
- 推理解码阶段的低延迟计算核心： 降低推理延迟，提升用户体验。
- 原生支持FP8数据分发： 支持低精度计算，进一步提升性能。
- 灵活控制GPU资源，实现计算与通信的高效重叠： 避免计算和通信互相等待，提升资源利用率。
DeepSeek强调，MLA（模型学习架构）和MoE架构改进是其两大重要创新点。此次开源DeepEP，展现了DeepSeek在MoE模型高效通信和并行处理方面的技术实力。
社区反响热烈
DeepEP开源后，迅速在开发者社区引发热烈反响。截至本文撰写时，DeepEP在GitHub上的Star数量已超过1000，并持续增长。
有开发者评价称，DeepSeek在MoE模型优化方面取得的成果令人印象深刻，DeepEP能够利用NVLink和RDMA等先进硬件技术，并支持FP8精度，以精准的方式应对MoE模型所面临的挑战，堪称突破性成就。
还有开发者表示，NVLink和RDMA支持对大规模MoE模型来说是革命性的突破，DeepSeek再次推动了AI基础设施的技术边界。
DeepSeek的开源策略
此前，DeepSeek曾因其模型DeepSeek-R1的性能实现方式受到质疑，部分观点认为其可能通过模型蒸馏而非真正的技术创新来实现。此次开源DeepEP，被视为DeepSeek回应质疑，展示其技术实力的重要举措。
通过开源底层技术，DeepSeek不仅能够加速MoE模型的发展，还能吸引更多开发者参与，共同推动人工智能技术的进步。
DeepEP性能测试
DeepSeek在H800 GPU上对DeepEP的性能进行了测试，结果显示，DeepEP能够充分利用NVLink和RDMA等硬件资源，实现高吞吐量和低延迟的通信。
- 常规内核： 在H800上，每个H800连接到一个CX7 InfiniBand 400 Gb/s RDMA网卡，遵循DeepSeek-V3/R1预训练设置（每批次4096个token，7168隐藏维度，top-4组，top-8专家，FP8分发和BF16合并）。
- 低延迟内核： 同样在H800上，每个H800连接到一个CX7 InfiniBand 400 Gb/s RDMA网卡，遵循典型的DeepSeek-V3/R1生产设置（每批次128个token，7168隐藏维度，top-8专家，FP8分发和BF16合并）。
潜在风险提示
DeepSeek在发布DeepEP的同时，也提醒开发者注意，为了极致性能，DeepEP使用了一个未记录在文档中的PTX指令：ld.global.nc.L1::no_allocate.L2::256B。该指令可能导致未定义的行为，但DeepSeek表示，在Hopper架构上，通过.L1::no_allocate已测试确保了正确性。
结论
DeepSeek开源DeepEP，为MoE模型的训练和推理带来了新的加速引擎。通过高效的通信和计算核心，DeepEP有望解决MoE模型面临的性能瓶颈，推动人工智能技术的进一步发展。DeepSeek的开源策略，不仅能够提升自身的技术影响力，还能促进整个行业的创新和进步。
参考文献
- DeepEP GitHub 仓库：https://github.com/deepseek-ai/DeepEP
- 机器之心相关报道：[此处应插入机器之心关于DeepSeek开源FlashMLA和DeepEP的报道链接]
未来展望
随着人工智能技术的不断发展，MoE模型将在更多领域得到应用。DeepEP的开源，有望加速MoE模型在各行业的落地，为人工智能应用带来更强大的性能和更低的成本。期待DeepSeek在未来能够继续开源更多创新技术，为人工智能的发展贡献力量。
Views: 0