ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

工程师独立开发!DSpark技术成功移植苹果芯片,Mac大模型速度质量双提升

时间:2026-07-04 00:54:39来源:互联网编辑:快讯

开源社区再传捷报,DSpark技术迎来苹果芯片原生版本。工程师Abdur Rahim在业余时间独立完成移植工作,将这套原本为数据中心GPU设计的加速框架成功适配至Mac平台,推出mlx-dspark项目。该版本在保持输出精度的前提下,使Gemma-4 12B和Qwen3-4B两个模型的生成速度分别提升1.6倍和1.4倍。

与传统移植方案不同,Rahim的版本实现了输出与原始模型逐字节完全一致。这项突破源于他对DSpark核心机制的深度优化:通过为每个目标模型配备小型辅助模型,先由辅助模型生成候选词,再由主模型进行批量验证。在苹果芯片架构下,这种设计面临特殊挑战——每增加一个候选词验证,处理时间就会线性增长。经实测,Gemma-4 12B模型每多验证一个token需额外消耗14毫秒。

技术实现层面,Rahim采用多重优化策略。他将辅助模型权重压缩至4-bit量化,内存占用仅1.8GB,同时保持无损运行。主模型则维持在8-bit精度,经测试发现提升精度至bf16会导致验证成本激增,反而降低整体效率。在MLX框架重构的解码流程中,严格复现了论文中描述的温度采样方法,通过残差重采样机制确保输出分布与原始模型完全吻合。

性能对比数据显示,在M4 Pro芯片上,Gemma-4 12B的生成速度从18.4tok/s提升至30tok/s,Qwen3-4B从52.9tok/s增至73tok/s。更关键的是,16%-18%的接受率提升指标在端侧设备得到完整复现。当使用指令微调版主模型时,候选词通过率从基础版的47%跃升至82%,验证了模型匹配度对效率的关键影响。

开源生态的活力在该项目中充分显现。DFlash团队核心成员Jian Chen主动提出合作请求后,Rahim迅速完成技术整合。这个由UCSD助理教授Zhijian Liu团队提出的并行解码方案,采用块扩散技术每次处理16个token。在代码生成场景中,DFlash展现出2.1倍加速优势,接受长度达5.95-6.20个token。但面对开放聊天场景时,其固定块长设计导致实际接受率下降,效率优势减弱。

最新发布的mlx-dspark v0.0.3版本实现技术融合,用户可通过参数动态调整DFlash的有效块长度。在对话场景自动切换短块模式,在代码/数学任务保持完整16token处理,使单台Mac设备即可兼顾不同场景需求。开发者透露,该框架已具备支持Qwen3-8B/14B等更大模型的能力,相关验证工作正在进行中。

更多热门内容
下一个十年工业互联网蓝图:院士专家前瞻,共话智能体与新型架构新路径
邬院士指出,从发展机遇层面来看,智能体技术将从底层价值、工具架构、产业普惠三个维度重塑工业互联网平台的发展形态。当前,以大模型为代表的新一代人工智能技术快速发展,工业智能正在成为工业互联网创新演进的重要方向…

2026-07-04

从PPT到生产线:2026全球数字经济大会如何让前沿科技扎根现实
2026全球数字经济大会彻底跳出传统论坛走过场、重形式轻实效的固有模式,以真实线下多元场景为核心载体,联动全球政府机构、国际组织、头部科技企业、初创科创团队、产业资本、普通市民全链条产业资源,打通实验室前沿…

2026-07-04

AWS Summit纽约峰会落幕:生成式AI成焦点,企业云部署需求与挑战并存
A:本届峰会上,生成式 AI 是绝对的焦点话题,讨论主要集中在如何利用云资源推动生成式 AI 的普及与发展,包括云基础设施对 AI工作负载的支撑能力、大语言模型的部署方式,以及云服务商如何将 AI 能力整…

2026-07-04

HarmonyOS 6终端设备数跃升至7000万,HarmonyOS 7携新特性亮相
当时的活动中还介绍称,HarmonyOS6终端设备数突破6600万、覆盖设备款数100+,1100万注册开发者、40万+可获取应用和服务。据悉,全新的华为 Mate90 系列将搭载全新的HarmonyOS…

2026-07-03

宇树科技科创板IPO加速获批 人形机器人赛道开启商业化新篇章
宇树科技2016年成立于杭州,全球首发了多项人形机器人产品,2025年纯人形机器人出货量超500台,位居全球第一。宇树科技的做法是“核心自研+国产协同”,整体国产化率已超85%。 当下看,这才是“人形机器…

2026-07-03

深圳机器人谷:半小时配套圈铸就产业高地 产值产量双登顶
在南山机器人谷内,上下游企业高度集聚,形成“上下楼即上下游”的产业格局,企业可在半小时车程内配齐机器人全部核心零部件,实现研发打样当日闭环。乐聚机器人相关负责人表示,本地可快速完成机器人研发到中试量产的全流程…

2026-07-03

优必选超仿生机器人U1系列发布:订单破万却遭外观吐槽,市场前景引关注
与通用人形机器人不同,这些公司更注重为机器人打造接近人类的面孔、皮肤、声音与体温,并训练其情绪交互能力,将其定义为“伙伴”甚至一种“新型关系”。 这恰恰揭示了仿生机器人的复杂性:人明知它是一台机器,但面对高度…

2026-07-03

红旗连锁调整战略:终止机器人研发项目 川南区域配送中心正式启用
观点网讯:7月3日,红旗连锁发布公告,拟终止机器人无人售货系统研发,同日其位于自贡市的川南区域配送中心正式投入运营。 据介绍,该机器人无人售货系统研发项目于2025年启动,经过一年多努力取得一定实践成果,但…

2026-07-03

智身科技钢镚L2发布:以标准化交付破局,引领四足机器人行业新变革
机器人大讲堂认为,钢镚L2的发布,本质是智身科技在树立行业级四足机器人的产品形态标准:标准化交付形态、必备核心能力、场景对接方案。 从行业发展阶段看,当前四足机器人仍处在落地应用早期,市场更需要可快速验证价…

2026-07-03

科技助力农业升级!新疆玉米去雄用上机器人与大型机械
这几天,当地的62.3万亩制种玉米进入去雄期,由于高温天气来袭,玉米的抽穗和花期都有所提前。据了解,这台玉米去雄机器人搭载了北斗高精度导航系统、AI智能识别系统与多组高清视觉摄像头,可以规划线路、灵活避障、精…

2026-07-03