全球开源社区迎来重大突破——月之暗面公司正式发布Kimi K3完整模型权重,同步公开技术报告及三项核心基础设施技术。这款总参数规模达2.8万亿、激活参数1040亿的开源模型,成为全球首个突破3万亿参数门槛的AI系统,其混合专家架构通过896个路由专家实现高效计算,每个Token仅激活16个专家单元。
技术架构方面,Kimi K3采用自研的Kimi Delta Attention混合线性注意力机制与注意力残差技术,原生支持视觉理解能力,上下文窗口扩展至100万Token。相比前代K2模型,整体扩展效率提升2.5倍,在编程、智能体、推理等数十项基准测试中超越所有开源模型,并在Arena Intelligence的WebDev Arena榜单以1679 Elo登顶,成为首个夺冠的开源模型。尽管在Artificial Analysis Intelligence Index v4.1测试中以57.1分位列全球第四,但已展现出与Claude Fable 5、GPT-5.6 Sol等闭源模型竞争的实力。
在硬件优化领域,Kimi K3展现出突破性的自主工程能力。测试数据显示,该模型在24小时内独立完成四种代表性注意力内核的优化:AttnRes延迟降低59.6%,DeepSeek Sparse Attention运行时间减少55.1%,KDA机制效率提升73.6%,MLA内核接近理论峰值算力。值得注意的是,这些优化在NVIDIA H200及非英伟达生态的GPGPU上均取得显著成效,证明其部署能力已突破单一硬件生态限制。
模型团队自主研发的MiniTriton编译器成为另一技术亮点。这款紧凑型GPU编译器实现从Python前端到PTX代码生成的全链路自主控制,在NVIDIA L20测试中性能超越PyTorch eager、torch.compile及标准Triton实现。更引人注目的是,Kimi K3在48小时自主运行中,基于开源EDA工具完成一款4平方毫米推理芯片的设计验证,该芯片集成146万个标准单元、0.277MB SRAM及INT4 MAC阵列,标志着AI系统首次具备从算法设计到硬件落地的全栈能力。
同步开源的三项基础设施技术构成完整技术生态:MoonEP专家并行通信库实现超大规模MoE架构的完美负载均衡;FlashKDA算子在H20 GPU上将预填充速度提升1.72至2.22倍;与KVCache.ai合作的AgentEnv智能体沙箱系统,通过支持快速快照、恢复与Fork功能,为大规模Agent训练提供高效环境。此次开源采用修改版MIT许可证,开发者可自由下载、修改并本地部署所有组件。
随着完整模型权重、技术文档及核心基础设施的全面开放,开源大模型正式进入2.8万亿参数时代。这项突破不仅为AGI研究提供新的技术基准,更通过降低前沿智能技术的使用门槛,推动整个AI生态系统的创新发展。技术报告特别强调,所有性能数据均经过第三方验证,确保开源社区可复现研究结果。

