ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

1450亿参数装进笔记本:Edge0开源端侧大模型,本地离线完成编程推理任务

时间:2026-11-13 18:12:36来源:互联网编辑:快讯

一款可在普通笔记本电脑上流畅运行的千亿级参数开源大模型正式与公众见面。开源项目 Edge0 本次放出了 Edge0-145B 与 Edge0-120B 两款模型,并配套提供统一的推理框架和部署工具。据项目方介绍,这是业界首个宣称能在个人电脑上本地运行的1450亿参数开源模型,其编程、推理与智能体水平被认为可对标云端前沿产品。

与依赖远程服务器的传统方案不同,这款模型把复杂任务的执行权交还给了用户自己的设备。官方演示显示,在完全离线的环境中,模型曾在一小时内独立完成一支特斯拉 Roadster 介绍视频的策划与制作;它还能在 Blender 中凭空构建曼哈顿风格的3D城市场景,写出可运行的中世纪题材 RPG 游戏,生成操控真实无人机穿越障碍的飞行程序,甚至在 KiCad 里完成 PCB 电路板布线,再衔接 Unreal Engine 输出装配动画。这些演示的背后,是模型在代码生成、工具调用、自我调试和视觉检查等环节的综合实力。

对使用者而言,本地化运行的好处直接而具体:敏感数据不必上传第三方服务器,持续累积的 API 调用开支可以省去,网络状况也不再构成使用门槛。

端侧 AI 此前长期面临一道难题——模型规模与硬件条件难以两全。参数做得越大,对内存和带宽的要求就越苛刻;小型化之后虽然装得下,却应付不了专业级任务。转向云端方案,则要接受按量计费、隐私风险和断网不可用等代价。

Edge0 团队给出的解法覆盖架构、训练、加载和调度四个环节。模型采用稀疏专家(MoE)设计,海量专家之间共享大矩阵,显著压缩了需要存储和搬运的权重——145B 的总参数中,单次推理真正参与计算的仅约10B。训练阶段,团队没有走“先做云端大模型、再压缩到端侧”的老路,而是从零开始把端侧硬件的硬性约束写进训练目标,规避了事后剪枝带来的精度损失。

内存调度方面,项目设计了一条贯穿 GPU 显存、系统内存与 SSD 的三层流水线:访问频率最高的“热专家”长期驻留显存,约40GB 的专家权重存于系统内存按需换入,体积约48GB 的词表数据则直接从固态硬盘实时读取,三者并行运转,消除了传统的串行等待。计算侧,GPU 专注处理已缓存的专家,CPU 同步承担其余负载,再借助投机解码技术,把权重读取的开销摊薄到更多输出 token 上。

实测数据显示,在搭载苹果 M 系列芯片的 MacBook Pro,以及配备 RTX 4090/5090 的 Windows 主机等设备上,Edge0-145B 的峰值内存占用为29GB,提示词预处理速度突破1100 tokens/s,解码生成速度超过80 tokens/s,典型功耗约120W,上下文窗口覆盖128K 至256K。

基准测试成绩同样受到关注。该模型六项基准的平均分为72.8,官方将其与标准4-bit 部署下动辄需要70GB 至87GB 内存的主流云端及大体积基线模型对照,内存占用降低约40%至60%,能力处于同一梯队。分项来看,GPQA-Diamond 达到90.4,展现出扎实的逻辑与知识储备;DeepSWE1.1 得分64.6,Terminal-Bench2.1 得分86.52,指令遵循基准 IFBench 得分80.6。

除旗舰型号外,Edge0 过去一年累计推出四大系列、200个不同规模的模型。Edge0 系列本身覆盖145B、120B 两个笔记本档位和35B、8B 两个手机档位,主打 vibe coding 与智能体场景;Audio8 系列提供0.1B 至3B 的多语种语音识别、合成及端到端交互模型;Decision0 系列包含0.6B 与3B 两款多模态快速决策模型,决策延迟控制在40毫秒级别;Embedding0 系列的0.6B 多模态嵌入模型,则承担文本、语音、图像和视频的本地长期记忆与 RAG 检索任务。

目前,Edge0-145B 与 Edge0-120B 的完整权重已上传至 Hugging Face,统一推理框架和一键部署指南同步发布在 GitHub,官方还提供了免环境配置的 Edge0App,供用户开箱即用。

更多热门内容