ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

DeepSeek开源新进展:揭秘DualPipe与EPLB如何优化并行策略

时间:2025-03-02 15:25:52来源:ITBEAR编辑:快讯团队

DeepSeek在本周的开源活动中继续释放技术红利,于2月27日揭晓了其开源周的第四项开源成果——针对V3/R1训练场景下的并行策略优化方案。

此次开源的核心内容包括DualPipe,这是一种创新的双向流水线并行算法,旨在实现计算与通信过程的有效重叠,从而大幅提升训练效率。同时,EPLB作为专家并行负载均衡器,为V3/R1架构下的资源分配提供了智能化解决方案。DeepSeek还深入分析了V3/R1中的计算通信重叠问题,为进一步优化提供了理论支撑。

作为本周开源活动的一部分,DeepSeek此前已陆续推出了多个重量级开源项目。2月24日,以Flash MLA作为开源周的开门红,为机器学习领域注入了新的活力。紧接着,2月25日,DeepSeek开源了DeepEP,这是一款专为MoE模型训练和推理设计的EP通信库,极大地提升了模型训练的效率和稳定性。而在2月26日,DeepSeek再次发力,开源了DeepGEMM库,该库支持FP8精度下的密集型和混合专家(MoE)通用矩阵乘法(GEMM)运算,为高性能计算领域提供了新的工具。

DeepSeek此次开源活动不仅展示了其在深度学习领域的技术实力,也体现了其对开源社区的贡献和承诺。通过持续开放源代码和技术文档,DeepSeek旨在促进技术交流和合作,共同推动人工智能技术的发展和应用。

更多热门内容
2025年:中国芯片企业借AI浪潮,破局重生
2025年是AI应用的爆发年,也是关乎国产算力企业兴衰存亡的关键之年。现在真正做到了芯片、模型助力场景应用,场景反馈回来的数据,又增加了模型跟芯片进一步地迭代,形成了一个非常良性的正向循环。”我们从芯片厂商的…

2025-08-04