ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

浪潮AI服务器双管齐下:10ms级推理+1元百万Token,赋能智能体规模化落地

时间:2025-09-29 17:17:56来源:快讯编辑:快讯

在人工智能计算领域,浪潮信息近日以两项突破性成果引发行业关注——超扩展AI服务器元脑HC1000与元脑SD200超节点的发布,标志着智能体产业化进程迈入高效低成本新阶段。前者将百万Token推理成本压缩至1元,后者则让DeepSeek-R1模型实现8.9ms的端到端延迟,双管齐下破解了AI规模化落地的核心难题。

元脑SD200超节点的技术突破集中体现在架构革新与通信优化。通过多主机3D Mesh系统架构,该设备将64张GPU整合为统一计算域,显存空间扩展至4TB,配合自研Open Fabric Switch实现跨主机全局编址。在互联协议层面,极简三层协议栈摒弃传统网络层,使GPU可直接访问远端显存,将基础通信延迟降至百纳秒级。实测数据显示,其运行DeepSeek-R1时TPOT(每Token输出时间)达8.9ms,较前代SOTA方案提升近一倍,671B参数模型扩展效率实现16.3倍超线性增长。

针对智能体交互的特殊性,元脑SD200设计了多重保障机制。Smart Fabric Manager动态规划64卡全局最优路由,分布式流控机制避免网络拥塞,硬件级链路层重传将故障恢复时间压缩至微秒级。这些创新使设备在支持64个AlphaFold3蛋白质预测模型并行运行的同时,仍能保持系统稳定性,解决了万亿参数模型跨机通信的延迟累积难题。

在成本控制领域,元脑HC1000展现出颠覆性实力。通过解耦推理流程的Prefill与Decode阶段,并将后者进一步拆分为注意力运算与FNN模块,该设备使单卡算力利用率最高提升5.7倍。硬件层面采用16卡计算模组均衡设计,配合全对称DirectCom极速架构,实现计算与通信1:1均衡分配。测试表明,其推理性能较传统RoCE方案提升1.75倍,单卡成本降低60%,系统均摊成本下降50%,最终将百万Token输出成本压缩至1元水平。

行业数据显示,智能体应用每月Token消耗量较去年增长50倍,单个智能体部署成本达5000美元/月。浪潮信息指出,未来五年该指标将呈指数级攀升,成本瓶颈若不突破,规模化部署将难以为继。元脑HC1000通过模型结构解耦与硬件均衡设计,打破了"五边形战士"芯片的依赖,在降低功耗的同时实现资源精准匹配,为高强度交互场景提供了经济可行的解决方案。

两项产品的技术路径折射出AI计算架构的转型方向。当通用GPGPU架构面临系统规模、电力消耗与投入产出失衡的三重挑战时,专用化、场景化的计算系统开始显现优势。浪潮信息通过软硬件深度协同优化,在智能体商业化关键期抢占先机,其创新实践或将推动行业从规模竞赛转向效率竞争的新阶段。

更多热门内容
余承东宣布:鸿蒙5终端设备达2000万
华为常务董事、终端BG董事长余承东近日通过视频向用户送上节日祝福,并透露鸿蒙5系统终端设备装机量已突破2000万台。这一数据较此前公布的1700万台实现快速增长,标志着鸿蒙生态建设迈入新阶段。

2025-09-29

象屿集团携手钉钉,借AI之力开启数智化新篇,3万员工共赴转型新程
象屿集团此次与钉钉合作,不仅是AI技术平台的引入,更是双方对未来发展方向的高度共识。 值得一提的是,象屿集团此次全面引入钉钉One、DingTalkA1、AI听记、AI搜问、AI表格等钉钉AI新品,聚焦用…

2025-09-29

云天励飞加入OISA生态,以“算力积木”助力国产AI算力突破MoE大模型瓶颈
凭借在 AI 推理芯片与算力架构的长期积累,云天励飞成为 OISA 生态的重要一员。 未来,云天励飞将继续秉持“AI时代的加速器”愿景,持续迭代芯片技术与架构创新,携手 OISA 生态伙伴,共同推动智能算…

2025-09-29

四川资源集团携手华为 共绘智慧矿山蓝图 探索数智化赋能新路径
封面新闻记者 付文超9月29日,记者获悉,四川省自然资源投资集团有限责任公司(以下简称“四川资源集团”)与华为技术有限公司(以下简称“华为”)签署框架合作协议。 根据协议,双方将在智慧矿山规划和建设、人工智…

2025-09-29

Flash Attention作者Tri Dao:英伟达GPU主导地位或三年内瓦解,AI硬件将迎多元生态
他们设计了非常好的芯片,也有非常好的软件支持,这让我能够做很多有意思的事情,而这正是我追求的:能不能做出有意思的东西。举例我做的Mamba,思路是让模型把历史压缩成更小的状态向量,而不是保存完整的KV c…

2025-09-29