月之暗面近日宣布,其最新研发的混合专家(MoE)模型Kimi K3已正式开源,同时向公众开放了模型权重、详细技术报告,以及支撑该模型训练的核心基础设施技术——包括MoonEP、FlashKDA和AgentEnv。这一举措旨在推动前沿智能技术的快速落地与广泛应用,为通用人工智能(AGI)领域的研究注入新动力。
作为月之暗面当前最先进的模型,Kimi K3在参数规模与功能上实现了显著突破。该模型拥有高达2.8万亿参数,不仅具备原生视觉理解能力,还支持长达100万token的上下文窗口,使其在处理复杂任务时表现更为出色。与前代Kimi K2.5相比,Kimi K3的参数规模扩大了约3倍,而规模化效率提升了2.5倍,这意味着在相同算力条件下,其单位算力产出的智能水平约为原来的2.5倍。
此次开源的内容不仅包括Kimi K3的模型本身,还涵盖了其训练过程中的关键技术。MoonEP作为高效训练框架,优化了大规模模型训练的资源利用;FlashKDA则通过改进知识蒸馏算法,提升了模型的学习效率;AgentEnv则提供了多智能体交互的模拟环境,为复杂场景下的模型训练提供了有力支持。这些技术的开源,将为全球开发者提供更多工具与资源,促进智能技术的创新与发展。
月之暗面表示,开源Kimi K3及其相关技术,是希望降低前沿智能技术的使用门槛,让更多研究机构和企业能够基于这一强大模型进行二次开发与应用探索。通过共享核心技术,公司期待与全球社区共同推动AGI研究的进步,加速智能技术从实验室走向实际应用的进程。