跳动百科

DeepSeek今日连开3源针对优化的并行策略,梁文锋本人参与开发

冯茂浩   来源:网易

DeepSeek今日连开3源,梁文锋参与开发优化并行策略

2025年2月27日,DeepSeek在“开源周”活动中,针对优化的并行策略,一次性发布了三个开源项目。这三个项目分别是:DualPipe、EPLB以及DeepSeek Infra中的性能分析数据。

DualPipe是一种创新的双向流水线并行算法,由梁文锋亲自参与开发。它能够实现前向与后向计算通信阶段的完全重叠,显著减少流水线气泡,提升计算效率。

EPLB是DeepSeek训练框架中实际使用的专家并行负载均衡算法,通过复制高负载专家并智能分配,确保计算资源的均衡利用。

此外,DeepSeek还开源了来自训练和推理框架的性能分析数据,帮助开发者更深入地了解通信-计算重叠策略及底层实现细节。这些数据是通过PyTorch Profiler采集的,可在浏览器中可视化分析。

此次DeepSeek的开源行动再次展示了其在AI技术优化方面的实力和诚意。