ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

昇腾0Day支持DeepSeek-V3.2-Exp

时间:2025-09-29 21:30:39来源:互联网编辑:汪淼

2025年9月29日,DeepSeek-V3.2-Exp发布并开源,引入稀疏Attention架构。昇腾已快速基于vLLM/SGLang等推理框架完成适配部署,实现DeepSeek-V3.2-Exp 0day支持,并面向开发者开源所有推理代码和算子实现。

昇腾0Day适配和参考实践

昇腾在DeepSeek-V3.2-Exp一发布开源即实现了DeepSeek-V3.2-Exp BF16模型部署,并在CANN平台上完成对应的优化适配,整体部署策略沿用DeepSeek的大EP并行方案,针对稀疏DSA结构,叠加实现长序列亲和的CP并行策略,兼顾时延和吞吐,在128K长序列下能够保持TTFT低于2秒、TPOT低于30毫秒的推理生成速度。

NPU DeepSeek-V3.2-Exp推理优化实践:

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_inference_guide.md

昇腾针对DeepSeek-V3.2-Exp架构中两个全新的算子:Lightning Indexer (LI) 以及Sparse Flash Attention (SFA),针对性地进行算子Tiling设计、Cube核与 Vector核间的流水优化、计算流程的实现优化等,模型和融合Kernel均已开源。

NPU DeepSeek-V3.2-Exp Ascend C融合算子优化:

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_ascendc_operator_guide.md

为进一步提高昇腾融合算子的编程易用性,昇腾CANN首次推出大融合算子的编程体系PyPTO,旨在简化算子开发流程,同时保持高性能计算能力。该框架创新性地采用PTO(Parallel Tensor/Tile Operation)编程范式,以Tensor为基本数据表达方式,构建计算图,实现高效计算与优化。目前在昇腾上已经基于PyPTO完成DeepSeek-V3.2-Exp模型中DeepSeek Indexer Attention和Lightning indexer算子的开发实践,仅需几百行代码即可完成动态Shape算子编程和算子整网运行。

基于PyPTO的Lightning Indexer和DeepSeek Indexer Attention算子开发实践:

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_pypto_operator_guide.md

在昇腾上基于vLLM、SGLang推理框架部署和TileLang算子编程实践

昇腾不仅提供了DeepSeek-V3.2-Exp的官方参考实践,也同步支持vLLM和SGLang等业界主流大模型推理框架部署,提供完整功能,能够让广泛的开发者在社区直接下载相关代码体验DeepSeek-V3.2-Exp模型,可以在昇腾实现融合算子、稀疏访存、多核并行计算等深度优化能力,并持续优化DeepSeek-V3.2-Exp在主流社区的推理性能。

大模型推理框架vLLM及昇腾实现:

https://github.com/vllm-project/vllm-ascend/tree/v0.9.1-dev/examples/deepseek.md

大模型推理框架SGLang及昇腾实现:

https://github.com/sgl-project/sglang/issues/11060

TileLang是由Tile-AI社区发起的Tile-level的类Python的AI编程语言(DSL)项目,在Tile粒度上进行编程和编译,实现模型算子和硬件的高效协同。昇腾已经实现TileLang的Sparse Flash Attention和Lightning Indexer算子开发,后续将支持更完备的NPU算子并提升性能和泛化性。

NPU DeepSeek-V3.2-Exp TileLang算子开发实践:

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_tilelang_operator_guide.md

TileLang-Ascend开源社区:

https://github.com/tile-ai/tilelang-ascend

昇腾凭借敏捷协同优化能力,0Day高效完成DeepSeek-V3.2-Exp适配,不仅深度开放自研编程语言AscendC及PyTorch算子源码,也积极拥抱开源生态,同步实现vLLM、SGLang等主流框架的快速支持,并携手开源社区Tile-AI共同开源NPU编程项目TileLang-Ascend。我们诚挚期待全球开发者加入昇腾社区,基于昇腾软硬件平台进行研究和创新,在Agent AI、内容理解等长文本新应用场景带来更好的用户体验,携手推进AI产业迈向新高度。

更多热门内容
京东上线“2025诺奖预测 瓜分百万京豆”活动 热门作家作品同步热销
全球文学界的年度盛事——2025年诺贝尔文学奖即将重磅登场!北京时间10月9日19时,象征世界文学最高荣誉的桂冠将花落谁家?是持续领跑热门榜的中国先锋作家,还是屡次陪跑却人气不减的国际名家?作为文学爱好者的用户,不仅能见证这一历史性时刻,更能亲手“预言”结果,赢

2025-09-29

英特尔联动「扣子 AI 工坊」启动高校计划——让校园创意一键开挂
AI浪潮下的人才培养新机遇随着人工智能技术的飞速发展,AI素养已成为衡量未来人才竞争力的关键指标。英特尔与新一代 AI Agent 平台扣子联合发起「英特尔 x 扣子 AI 工坊高校计划」,致力于提供切实可行的解决方案,将业界前沿的 AI 生产力工具带入校园,通过一系列互动

2025-09-29

桔子数科以警企联动破局金融黑灰产治理难题,守护金融生态安全
当前,金融黑灰产呈现出规模化扩张、隐蔽性增强、手段新型化的发展态势,给金融市场秩序维护与公众财产安全保障带来严峻挑战。在此背景下,桔子数科秉持“零容忍”的坚定态度,积极构建警企联动立体化防护体系,通过建立常态化协作机制并依托技术为实战赋能,在打击金融

2025-09-29

FlyLink 以创新商业模式入选世界互联网大会跨境电商实践案例集
近日,世界互联网大会跨境电商峰会在深圳举办,峰会现场重磅发布《跨境电商实践案例集(2025年)》(以下简称“案例集”)。来自全国跨境电商领域的专家学者、行业代表齐聚一堂,共同探讨数字经济新发展下的跨境电商机遇与挑战。飞来汇旗下创新极速独立站产品FlyLink凭借在降低

2025-09-29

EqualOcean 2025中国出海全球化新锐品牌TOP50揭晓,乐其创新SmallRig与元气森林、量旋科技等品牌上榜
2025 年 9 月 19 日至 20 日,由 EqualOcean 主办的「2025 出海全球化百人论坛」(GGF2025)在深圳举行并顺利落幕。本届论坛以“拥抱中国品牌全球化黄金十年”为主题,核心聚焦企业在新发展周期下的全球化进程推进与品牌力重塑议题。作为年度内出海领域规格最高、规模最大

2025-09-29

消费升级驱动创新,ARROW箭牌家居集团塑造智慧卫浴新格局
近年来,随着消费结构升级,消费者在家居卫浴产品的选择上更倾向于品质与体验。据中国建材流通协会发布的数据,超过七成消费者在选购卫浴产品时会重点考虑耐用性与环保性,而超过六成用户希望产品能兼顾健康守护与智能体验。这意味着,卫浴空间早已不只是日常清洁的功能

2025-09-29

英特尔参展第二十五届工博会,从芯到端构建工业AI新生态
2025年9月23日,在第二十五届中国国际工业博览会(CIIF)上,英特尔携手多家生态合作伙伴,以工业 AI 为核心概念,深度展示了在具身智能、人形机器人、工业AI与大模型、工业机器视觉、工业控制等领域的前沿解决方案与算力平台。活动上发布的基于英特尔® 酷睿™ Ultra平台

2025-09-29

展会现场 | 思灵机器人(Agile Robots)亮相第二十五届工博会,等您聊技术,对方案!
2025年9月23日至27日,思灵机器人(Agile Robots)携多款创新产品亮相中国国际工业博览会(CIIF)上海国家会展中心,吸引众多来访者驻足体验与深度交流!诚邀您到8.1H馆A226号展台,与我们一起探索智能机器人解决方案!一、展品一览通用领域在本次工博会中,思灵机器人(Agile

2025-09-29

德国卡赫积极参与“世界清洁日”活动,以实际行动奏响环保最强音
自2024年起,每年的9月20日被联合国正式定为世界清洁日,旨在号召各界“用一天的时间清理我们的地球”。值品牌成立90周年的里程碑时刻,全球清洁行业领军者德国卡赫再度携手公益环保组织One Earth One Ocean(OEOO)在全球范围内发起卡赫清洁日的活动,并成功召集超600名

2025-09-29

戴比尔斯看货会:小颗粒天然钻石供大于求,行业变局将至
近期,戴比尔斯集团举办了一期看货会,随后,Rapaport发表的评论文章犹如一颗投入钻石行业平静湖面的石子,激起了层层关于天然钻石行业现状分析的涟漪。此次看货会整体状况看似波澜不惊,实则暗藏诸多行业变动的信号。看货会现状:大颗粒畅销,小颗粒遇冷戴比尔斯方面依

2025-09-29