ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

联想AI服务器新突破:本地部署DeepSeek大模型,性能满载支持百并发

时间:2025-03-03 12:31:34来源:ITBEAR编辑:快讯

联想集团近日宣布了一项重大技术突破,成功在联想问天WA7780 G3服务器上单机部署了DeepSeek-R1/V3 671B大模型。这一成就不仅刷新了企业级大模型部署的基准,还以远低于行业公认的1TGB显存要求(实际仅使用768GB),实现了流畅支持100并发用户的能力,充分满足千人以上规模企业的使用需求。

在DeepSeek大模型本地化部署逐渐成为企业关注焦点的背景下,联想的这次技术革新为企业提供了宝贵的选型参考。面对行业普遍存在的关键问题,如单机能否部署完整版的DeepSeek R1、最低配置需求、高并发与吞吐量下的用户体验保障以及如何避免采购陷阱,联想给出了明确的答案。

联想的研发团队通过一系列创新技术,包括专家并行优化、智能访存架构升级以及PCIe 5.0全互联架构的应用,显著提升了显存利用率,从而实现了性能的大幅提升。在512 token标准测试环境下,系统能够支持100个并发用户以每秒10 token的速度稳定输出,首token响应时间更是被压缩至30秒以内。即使在面对4K长序列的复杂场景时,系统也能保持25个并发用户的同等性能。

联想问天WA7780 G3服务器仅配置了8张96GB显存的GPU卡,而DeepSeek-R1大模型的模型参数就占据了约700GB显存,剩余显存空间有限。如果不进行专门优化,系统仅能支持2至3个用户接入。然而,在联想万全异构智算平台的加持下,通过精心优化,联想成功实现了用户体验的三项关键指标:首token延迟小于30秒、单token延迟小于100毫秒、支持2K以上长序列问题处理。同时,这一方案还实现了20%以上的成本节约,充分展示了联想在服务器技术领域的深厚积累和创新实力。

联想的这一创新成果不仅为企业提供了设备选型的新思路,还提醒企业在评估测试数据时,应审慎看待总吞吐量和总并发数等指标,而应更加关注用户体验和数据精度等隐藏信息。例如,将数据精度从FP8转为int8或int4(即量化)虽然可以显著提升性能表现,但会牺牲结果的准确性,这显然不是用户所期望的。高吞吐量和高并发量也并不等同于用户体验好。如果服务器GPU卡配置不高,局部通信瓶颈可能会引发响应延迟,导致用户体验降级。

联想的这一技术突破将有效破除大模型在企业落地过程中的瓶颈,加速大模型在企业的应用进程。未来,联想基础设施业务群与联想研究院先进计算实验室将继续深化合作,依托联想万全异构智算平台对DeepSeek平台从AI预训练、后训练到推理的全流程进行持续优化,为客户提供性能更佳、性价比更高的产品和解决方案,推动DeepSeek大模型的广泛落地,引领新一轮的生产力革命。

更多热门内容
光伏电站数字化智能运维系统:分阶段推进实现技术价值最大化
光伏电站数字化智能运维系统的落地是一个循序渐进的体系化建设过程,需要结合电站的规模、场景、基础条件,分阶段逐步推进,完成基础感知部署与数据底座搭建,结合可视化监控与基础告警功能,进行智能分析与运维优化,实现…

2026-07-22

2026世界人工智能大会:前沿技术齐亮相 创新成果绘就AI新蓝图
在上海举行的2026世界人工智能大会上,多项重要举措和创新成果公布。《中国智·惠世界(2026)》案例集收录了我国在人工智能领域开展国际合作的10个生动故事。此外,《国际人工智能伦理治理行动计划》《智能体互…

2026-07-22

工信部明确AI赋能方向 中国电信以“云智安”全链布局驱动制造业升级
在政策导向与技术变革的历史交汇点上,作为中国建设网络强国、数字中国和维护网信安全的国家队与主力军,中国电信正以“云改数转智惠”战略为统领,将人工智能与工业互联网深度融合,从算力底座、模型供给到生态安全进行全链…

2026-07-22

毕马威亮相2026世界人工智能大会:共探AI发展,助力产业升级与商业新范式
面对产业生态构建与治理规则的协同,世界人工智能大会搭建起增进互信、凝聚共识、推进合作的重要沟通平台,作为专业服务机构,毕马威将以大会为契机,持续深化在人工智能领域的专业洞察与实践积累,为人工智能企业的商业化发…

2026-07-22