ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

月之暗面Kimi K3开源:2.8万亿参数领航,GPU优化与芯片设计双突破

时间:2026-07-28 22:37:11来源:互联网编辑:快讯

全球开源社区迎来重大突破——月之暗面公司正式发布Kimi K3完整模型权重,同步公开技术报告及三项核心基础设施技术。这款总参数规模达2.8万亿、激活参数1040亿的开源模型,成为全球首个突破3万亿参数门槛的AI系统,其混合专家架构通过896个路由专家实现高效计算,每个Token仅激活16个专家单元。

技术架构方面,Kimi K3采用自研的Kimi Delta Attention混合线性注意力机制与注意力残差技术,原生支持视觉理解能力,上下文窗口扩展至100万Token。相比前代K2模型,整体扩展效率提升2.5倍,在编程、智能体、推理等数十项基准测试中超越所有开源模型,并在Arena Intelligence的WebDev Arena榜单以1679 Elo登顶,成为首个夺冠的开源模型。尽管在Artificial Analysis Intelligence Index v4.1测试中以57.1分位列全球第四,但已展现出与Claude Fable 5、GPT-5.6 Sol等闭源模型竞争的实力。

在硬件优化领域,Kimi K3展现出突破性的自主工程能力。测试数据显示,该模型在24小时内独立完成四种代表性注意力内核的优化:AttnRes延迟降低59.6%,DeepSeek Sparse Attention运行时间减少55.1%,KDA机制效率提升73.6%,MLA内核接近理论峰值算力。值得注意的是,这些优化在NVIDIA H200及非英伟达生态的GPGPU上均取得显著成效,证明其部署能力已突破单一硬件生态限制。

模型团队自主研发的MiniTriton编译器成为另一技术亮点。这款紧凑型GPU编译器实现从Python前端到PTX代码生成的全链路自主控制,在NVIDIA L20测试中性能超越PyTorch eager、torch.compile及标准Triton实现。更引人注目的是,Kimi K3在48小时自主运行中,基于开源EDA工具完成一款4平方毫米推理芯片的设计验证,该芯片集成146万个标准单元、0.277MB SRAM及INT4 MAC阵列,标志着AI系统首次具备从算法设计到硬件落地的全栈能力。

同步开源的三项基础设施技术构成完整技术生态:MoonEP专家并行通信库实现超大规模MoE架构的完美负载均衡;FlashKDA算子在H20 GPU上将预填充速度提升1.72至2.22倍;与KVCache.ai合作的AgentEnv智能体沙箱系统,通过支持快速快照、恢复与Fork功能,为大规模Agent训练提供高效环境。此次开源采用修改版MIT许可证,开发者可自由下载、修改并本地部署所有组件。

随着完整模型权重、技术文档及核心基础设施的全面开放,开源大模型正式进入2.8万亿参数时代。这项突破不仅为AGI研究提供新的技术基准,更通过降低前沿智能技术的使用门槛,推动整个AI生态系统的创新发展。技术报告特别强调,所有性能数据均经过第三方验证,确保开源社区可复现研究结果。

更多热门内容
亚马逊入局卫星通信领域再升级!申请发射5105颗卫星 2028年实现手机直连卫星
快科技7月28日消息,据报道,亚马逊旗下卫星互联网业务AmazonLeo周一向美国联邦通信委员会(FCC)提交申请,计划部署最多5105颗低轨卫星,构建“直接连接设备”(D2D)通信网络。 亚马逊还计划与全…

2026-07-28

中美航天“出舱姿势”引热议:技术差距还是另有隐情?底气藏于细节中
从技术挑战角度看,刘阳认为最核心的挑战有两个:一是动力,即最核心的发动机在全程工作过程中的变推力能力,以及火箭所需变推的范围与精准度,这两方面要求都比较高。 在与SpaceX的对比中,刘阳指出,中国做商业航…

2026-07-28