凤凰网科技讯 7月28日,阿里云宣布真武M890超节点实例已Day0适配Kimi K3,这是国内首个成功运行近3万亿参数模型的超节点。该超节点通过ICN Switch高速互联芯片,将64张平头哥真武M890芯片以800GB/s全互联,显存规模达9TB,单实例即可支撑大规模万亿级MoE模型的专家并行需求。
为提升运行效率,阿里云、平头哥与Kimi团队从软件栈、算子层面进行了深度联合适配,优化后首Token时延降低约35%,单卡解码吞吐提升1.8倍,可稳定支持1M长上下文。千问AI平台和阿里云百炼将同步提供Kimi K3的模型API。阿里云表示,该适配验证了国产算力已具备支撑超大参数模型大规模应用的能力。