ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

AMD 推出 vLLM-ATOM 插件,深度优化国产大模型推理表现

时间:2026-05-13 05:50:39来源:CHINAZ编辑:快讯

近日,AMD 正式发布了名为 vLLM-ATOM 的全新插件。这款工具的核心使命是在维持现有工作流不变的前提下,显著榨取硬件潜能,为 DeepSeek-R1、Kimi-K2以及 gpt-oss-120B 等主流大语言模型的推理过程实现大幅提速。

对于开发者而言,vLLM 是一套旨在优化高并发场景下吞吐量与显存利用率的开源框架。与传统的单次调用工具不同,它更专注于请求调度与缓存管理。而此次 AMD 推出的 ATOM 插件,则是一套专为 Instinct GPU 打造的深度定制方案。它最大的亮点在于“无感迁移”:企业用户无需修改现有的 API 接口、命令或端到端操作流程,插件即可在后台自动接管并完成底层的性能优化。

从技术架构上看,vLLM-ATOM 采用了精密的三层设计。顶层继续沿用 vLLM 的请求调度与兼容接口;中间层的 ATOM 插件则负责模型实现与内核调优;而最底层的 AITER 则直接对接 GPU 硬件,提供包括 Flash Attention、量化 GEMM 以及融合 MoE 在内的核心加速能力。

这一插件主要面向 Instinct MI350、MI400以及 MI355X 等高性能 GPU 计算卡。在支持列表中,不仅涵盖了 Qwen3、GLM、DeepSeek 等明星模型,还实现了对 MoE(混合专家模型)、稠密模型以及视觉语言模型(VLM)等多种架构的全覆盖。

行业分析人士指出,该方案的核心价值在于极大地降低了高性能算力的部署门槛。通过这种“零学习成本”的平滑迁移方案,企业可以更轻松地将 AI 服务切换至 AMD 硬件后端,在保证推理效率的同时,有效提升了大模型在线服务的稳定性和响应速度。

更多热门内容
仓库自动搬货箱机器人主流技术路线解析:参盘、Figure AI、Apptronik方案对比
汽车制造产线物料搬运零部件配送与产线其他设备协同作业路线特点总结: 从汽车制造这一高要求场景切入,通过与头部车企合作验证技术。对于关注“仓库里自动搬货箱的机器人”技术选型的用户来说,参盘科技的WAM路线提供…

2026-06-28

16亿收购烟台LNG企业,1000万潍坊设厂,重庆机器人“小巨人”山东布局显锋芒
2025年12月,七腾机器人及其一致行动人抛出方案,计划合计出资约16.86亿元,通过“协议转让+部分要约收购”的组合拳拿下控制权。 收购一家亏损的LNG公司,又火速在潍坊落子,七腾机器人要的显然不是LNG业…

2026-06-28

华为汪涛:2026成移动通信拐点,2027年将制定未来二十年新标准
6月24日,在2026世界移动通信大会上海期间,华为副董事长、轮值董事长汪涛表示,2026年是移动通信技术发展一个重要拐点,产业界在推进5G-A持续迭代,预计2027年3月正式启动3GPP R21,制定面…

2026-06-28

AI助力宇宙探索:迁移学习加速新物理发现,也面临负迁移挑战
迁移学习允许人工智能系统将从一项任务中获得的知识应用到另一项任务中,以帮助其更高效地学习。这个初始训练过程被称为预训练,为人工智能打下了基础,之后再让它接触包含可能的新物理的更复杂宇宙学模型。 正如作者在论…

2026-06-28

吉林建科携手华为举办产教融合论坛 共探AI时代人才培养新路径
央广网长春6月27日消息(记者张学龙)26日,由华为技术有限公司主办、吉林建筑科技学院承办的“数智赋能·人才兴吉——2026产教融合创新发展论坛暨华为院校人才培养论坛”在吉林建筑科技学院国际会议交流中心举行。…

2026-06-28