ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

英伟达GB200 NVL72机架系统:MoE模型推理性能碾压AMD MI355X

时间:2026-01-02 18:26:17来源:ITBEAR编辑:快讯

在人工智能模型推理性能的激烈竞争中,英伟达与AMD的较量有了新进展。Signal65最新发布的SemiAnalysis InferenceMAX基准测试分析报告显示,在Deepseek-R1 0528混合专家(MoE)模型推理场景下,英伟达Blackwell GB200 NVL72机架系统展现出显著优势,其性能远超AMD的Instinct MI355X。

混合专家模型作为一种高效的AI架构,通过将任务分配给不同的“专家”模块来提升处理效率。以Deepseek-R1 0528为例,该模型在处理问题时仅激活最相关的“专家”,而非动用全部资源。然而,这种架构在扩展至大规模集群时,容易因节点间通信延迟和带宽压力导致计算瓶颈,成为制约性能的关键因素。

英伟达针对这一挑战推出了“极致协同设计”策略。GB200 NVL72系统通过紧密互联72颗芯片,并配备30TB高速共享内存,大幅优化了全对全通信效率。这种设计有效降低了数据传输延迟,使系统在处理复杂任务时更加流畅。测试数据显示,在类似集群配置下,英伟达方案每GPU的吞吐量达到75 tokens/秒,性能是AMD Instinct MI355X的28倍。

对于超大规模云计算厂商而言,成本与性能同样重要。Signal65结合Oracle云定价数据进行分析后指出,GB200 NVL72机架不仅性能强劲,经济性也令人瞩目。其每token的相对成本仅为AMD方案的十五分之一,同时提供了更高的交互速率,进一步巩固了英伟达在MoE领域的领先地位。

尽管英伟达在MoE领域占据主导,但AMD并未完全失去竞争力。报告提到,AMD的MI355X凭借高容量HBM3e内存,在稠密模型环境中仍是一个极具吸引力的选择。不过,目前AMD尚未推出新一代机架级解决方案来应对NVL72的挑战。

随着行业对机架级扩展方案的需求日益增长,英伟达与AMD的竞争将进一步升级。未来,AMD Helios平台与英伟达Vera Rubin平台的对决备受关注,双方在硬件设计、通信优化和成本控制等方面的创新,或将重新定义AI推理市场的格局。

更多热门内容
启元Q1开启具身智能新篇:个人机器人走进生活,智能生活新起点
彭志辉将其定义为"探索具身智能的第一台毕业机",这个充满教育意味的比喻,暗示着人类与机器人共生的新时代课程已经开课。彭志辉在发布会上演示了如何教启元Q1给不同高度的家庭成员调整座椅:"这不是预设程序,而是真正…

2026-01-02

新疆保华润天航空解读:无人机从基础构造到未来发展的全景呈现
它通过地面遥控或自主程序控制完成飞行任务,是现代航空技术的重要分支。 从结构组成来看,无人机主要包括机身、螺旋桨、控制系统和摄像头等核心部件。结构相对复杂,但其独特的飞行特性在特定领域具有不可替代的优势。在农…

2026-01-02

OpenAI加码音频AI领域,2026年或携智能设备开启对话新体验
来源:环球网 【环球网科技综合报道】1月2日消息,据Techcrunch报道,OpenAI正在大力投资音频 AI,该公司在过去两个月里整合了多个工程、产品和研发团队,对其音频模型进行了全面改造,这一切都是为推…

2026-01-02

DeepSeek大模型赋能工程造价:全周期管控与智能化变革新路径【134页详解】
近日,一份关于DeepSeek-R1大模型在工程造价领域应用的详细方案披露,揭示了人工智能技术如何为这一传统行业带来深刻的智能化变革。它推动了行业数据的标准化与融合,促进了与BIM、ERP等系统的集成,为建筑…

2026-01-02

AI赋能智慧地铁:城市轨道交通智能化转型的145页技术蓝图揭秘
报告指出,AI大模型以其强大的数据处理、深度学习和预测分析能力,能够为城市轨道交通的多个核心环节注入“智慧动能”。 可以预见,随着AI大模型技术不断落地深耕,我们的城市轨道交通将不再仅是交通工具,更将成为高…

2026-01-02