ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

AMD发布vLLM-ATOM插件:国产大模型在AMD硬件上推理性能再升级

时间:2026-05-13 06:53:40来源:互联网编辑:快讯

AMD近日推出一款名为vLLM-ATOM的专用插件,专为提升国产大语言模型在AMD硬件上的推理效率而设计。该工具通过无缝集成现有开发流程,使DeepSeek-R1、Kimi-K2等主流模型在AMD Instinct系列GPU上的运行性能得到显著优化,同时保持原有工作流和API接口不变。

作为开源推理框架vLLM的扩展组件,vLLM-ATOM延续了其显存高效利用的特性,并针对AMD硬件架构进行深度调优。开发者无需重新学习适配流程,插件可自动完成请求调度优化与GPU内核配置,实现从传统算力平台到AMD生态的平滑迁移。这种"零感知"部署模式大幅降低了技术迁移成本。

插件采用分层架构设计:上层保持与OpenAI标准的兼容性,中层处理模型路由与实现逻辑,底层则提供经过优化的GPU计算内核。这种模块化结构不仅支持稠密模型与混合专家模型(MoE),还能适配视觉语言模型(VLM)等复杂场景,同时兼容Qwen3、GLM等中文大模型体系。

在硬件适配方面,vLLM-ATOM重点支持AMD Instinct MI350及MI400系列高性能GPU,通过内核级优化充分释放硬件算力。针对量化模型与大规模参数场景,插件内置的混合专家模型支持技术可有效平衡推理速度与精度需求,满足企业级应用对稳定性的严苛要求。

该工具的推出标志着AMD在AI算力生态建设上迈出关键一步。通过深度优化国产顶尖大模型的硬件适配,AMD为企业用户提供了更具性价比的推理解决方案,有助于推动在线AI服务从训练阶段向规模化部署阶段的转化,进一步丰富AI算力市场的技术选择。

更多热门内容
OpenAI秘密递交IPO申请 估值超8500亿美元或今年四季度上市
据报道,OpenAI已向美国证券交易委员会(SEC)秘密递交首次公开募股(IPO)申请,这家人工智能企业目前估值超8500亿美元,正筹备最快于今年第四季度完成上市。采用秘密递交形式,意味着公司可先将财务资料…

2026-06-09

苹果iOS 27版Home应用升级:AI助力精简通知,视频搜索更便捷
IT之家 6 月 9 日消息,在今天(6 月 9 日)召开的 2026 年全球开发者大会(WWDC)上,苹果公司宣布在 iOS 27 系统中升级Home 应用,通过 AI 技术来精简配件通知。 对于部分 H…

2026-06-09

苹果iOS 27新升级:Siri AI语音助手声音节奏表现力可自定义啦
IT之家 6 月 9 日消息,苹果今日宣布,Siri AI 将提供“全新的语音体验”,让用户可以自定义语音助手的声音。在支持苹果最新端侧模型的设备上,Siri AI 将带来更具表现力的声音,同时系统范围内的…

2026-06-09

苹果iOS 27系统革新:日历与提醒事项借AI之力,实现自然语言高效管理
科技媒体 MacRumors在体验后指出,苹果正把日历和提醒事项从“手动填写”推向“自然输入”,用户点按日历应用的“+”按钮后,可直接输入类似“周四晚上 8 点和女友Sarah 看电影”的文字,系统会自…

2026-06-09

Apple WWDC26开幕,27系列系统登场,一文速览发布会全新亮点
今天凌晨,Apple WWDC26 正式开幕 Apple 在本届 WWDC26 开幕式上发布了 27 系列系统重点强调性能强大、系统安全和全新的 AI 能力 如果你没有熬夜看发布会,不用担心 少数派不仅整…

2026-06-09