ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

NVIDIA Blackwell平台破MLPerf记录:Llama模型吞吐量狂增30倍!

时间:2025-04-03 12:19:52来源:ITBEAR编辑:快讯

NVIDIA在最新一轮MLPerf V5.0基准测试中,凭借Blackwell平台大放异彩,展现了其在人工智能领域的卓越实力。

MLPerf,这一由图灵奖得主大卫·帕特森携手谷歌、斯坦福及哈佛大学等重量级机构共同创立的性能基准测试平台,无疑是国际AI领域的权威风向标。它旨在通过标准化测试,全面衡量人工智能硬件、软件及服务的性能表现。

值得注意的是,此次MLPerf更新引入了Llama 3.1 405B,这一庞大且复杂的开放权重模型,无疑为测试增添了极大的挑战。然而,NVIDIA及其合作伙伴却迎难而上,成功提交了Llama 3.1 405B基准测试的结果,成为业界焦点。

在Llama 3.1 405B基准测试中,NVIDIA的GB200 NVL72系统通过72个Blackwell GPU的紧密协作,实现了惊人的性能提升。与H200 NVL8相比,其吞吐量竟高达30倍之多,这一成绩无疑彰显了NVIDIA在GPU技术上的深厚积累。

除了吞吐量的大幅提升,NVIDIA在推理部署的关键指标上也取得了显著进步。首次响应时间(TTFT)和每个输出令牌的时间(TPOT)是衡量用户体验的重要指标。在新的Llama 2 70B Interactive基准测试中,NVIDIA利用8个Blackwell GPU的DGX B200系统,将TPOT缩短了5倍,TTFT降低了4.4倍,为用户带来了更为流畅的体验。

在这一更具挑战性的基准测试中,NVIDIA的表现同样出类拔萃。与使用8个H200 GPU的系统相比,DGX B200系统的性能高出三倍之多,为Llama 2 70B基准测试树立了新的标杆。

NVIDIA的这一系列成就,不仅展示了其在人工智能领域的领先地位,更为行业树立了新的性能标准。随着人工智能技术的不断发展,NVIDIA将继续以技术创新为驱动,推动AI性能的持续提升。

可以预见,NVIDIA的Blackwell平台将在未来的人工智能应用中发挥更加重要的作用,为各行各业带来更加智能、高效的解决方案。

此次MLPerf V5.0基准测试的结果,无疑为NVIDIA在人工智能领域的实力提供了有力的证明。

随着技术的不断进步和应用场景的不断拓展,NVIDIA将继续引领人工智能技术的发展潮流,为人类社会创造更加美好的未来。

更多热门内容
深圳深智城集团助力国产算力新飞跃:万亿级AI大模型训练获突破性进展
近日,市属国企深智城集团旗下深圳市智城算网科技有限公司联合多家高校及研究机构,成功完成1.6万亿参数大模型DeepSeek-V4-Pro的全参数后训练。 据公开资料检索,这是业界首个由第三方机构基于国产算力…

2026-06-13

AI赋能科研新突破:火箭研发提速,科学探索开启智能新篇章
在北京科学智能研究院,随着AI被引入,计算效率跃升约千倍,火箭发动机从构想到实物验证的周期压缩至2周。 北京科学智能研究院院长李鑫宇说,研究院专注于AI赋能科学研究相关技术突破,研究院推出的AI技术正在改变…

2026-06-13

武汉工商学院开放日:机器人“大显身手” 答疑互动萌态十足引赞叹
极目新闻通讯员 李洋洋6月12日上午,在武汉工商学院举行的校园开放日上,来自汉口的考生小陈对着手机镜头记录下这段体验。 当天,学校在传统的展位咨询与宣传资料发放之外,专门安排了一组智能设备与考生和家长互动,…

2026-06-13

“天工”多款机器人备战人形机器人运动会,未来或实现机器人造机器人
记者看到,每一台机器人旁边都有一名数据采集人员负责操控设备,完成全套动作,搭载的采集系统同步记录机器人关节运动角度、运行力矩等信息,每一组动作轨迹、每一次力度变化都被完整留存。 北京人形机器人创新中心中试验…

2026-06-13

AI赋能科研新突破:火箭发动机研发提速,科学仪器开启“智能”新篇
在北京科学智能研究院,随着AI被引入,计算效率跃升约千倍,火箭发动机从构想到实物验证的周期压缩至2周。 北京科学智能研究院院长李鑫宇说,研究院专注于AI赋能科学研究相关技术突破,研究院推出的AI技术正在改变…

2026-06-13

河南移动举办医疗信息化交流会 四大创新中心助力智慧医疗升级
四大创新中心的落地,标志着河南移动医疗生态体系的全面升级,推动合作模式从单一项目向常态化、专业化、深层次战略协同跃升,精准聚焦医疗AI创新、智慧基建建设、医疗数据治理等关键领域,为全省智慧医疗的技术迭代、场…

2026-06-13