在2025年7月，StepFun公司研究团队发布了一项突破性的研究成果，题为《Step-3 is Large yet Affordable: Model-system Co-design for Cost-effective Decoding》。该研究彻底颠覆了大型AI模型“越大越贵”的传统认知，证明了通过巧妙的设计，一个拥有321亿参数的模型能以更低的成本运行。这一成果引起了AI界的广泛关注，相关论文可在arXiv:2507.19427v1上查阅。
StepFun团队的研究挑战在于，如何让拥有庞大参数的AI模型“Step-3”既聪明又经济。传统AI模型设计通常采取堆叠注意力机制和前馈网络的方式，而StepFun团队则采用了全新的“工厂流水线”思维，将注意力计算和前馈网络分别部署在不同的“车间”，并通过高效的“传送带”传递中间结果。这种被称为注意力-前馈网络分离（AFD）的设计理念，使得整个系统能够像现代汽车制造厂一样高效运作。
StepFun团队还设计了一种全新的注意力机制——多矩阵分解注意力（MFA）。与传统注意力机制相比，MFA能够以更少的“记忆空间”处理复杂信息，同时保持高准确度。这种设计使得Step-3在处理长篇对话时，所需的存储空间显著减少，计算效率大幅提升。
研究结果显示，在相同的硬件条件下，Step-3的解码成本比同类模型DeepSeek-V3降低了约40%，比Qwen3 MoE 235B也有显著优势。在H800 GPU上，Step-3的解码吞吐量达到每秒每GPU 4039个词汇单元，远超DeepSeek-V3的2324个。这一成果不仅展示了Step-3的技术优势，更为AI行业的未来发展指明了方向。
Step-3的核心创新在于其“双核心”设计，即将注意力机制和前馈网络完全分离，让它们各自在最适合的硬件上运行。这种设计使得系统能够针对不同工作负载选择最优硬件配置，并独立缩放，从而大幅提高计算效率和降低运营成本。同时，MFA注意力机制通过矩阵分解技术，减少了存储需求，保持了计算强度适中，使得Step-3在各种硬件平台上都能表现出色。
研究团队还深入分析了不同硬件平台的特性，发现不同模型在不同硬件上的表现潜力存在巨大差异。Step-3的MFA注意力机制选择了适中的算术强度，既不会在低端硬件上造成瓶颈，也能在高端硬件上保持高效率。这种硬件适配设计使得Step-3能够在各种硬件平台上都发挥出最佳性能，降低了部署成本，提供了更大的硬件选择灵活性。
为了让Step-3的分离式架构真正发挥效力，StepFun团队开发了StepMesh通信库。这个高效的“神经系统”确保了各个部分能够准确、及时地进行信息传递。StepMesh采用了异步处理架构、基于CPU的操作执行、NUMA感知的CPU核心绑定技术等创新措施，实现了超低延迟的数据传输。同时，它还支持异构硬件和RoCE网络优化，确保了系统在各种环境下的高效运行。
经过全面的性能测试，Step-3在实际应用中展现出了压倒性的优势。在与DeepSeek-V3的对比中，Step-3在相同硬件配置下的处理速度提升了74%，且在不同硬件平台上都能保持高性能表现。在成本效益方面，Step-3也展现出显著优势，处理8K上下文长度的对话时，每100万词汇的成本仅为0.055美元，远低于DeepSeek-V3的0.068美元。这些测试结果充分验证了Step-3设计的有效性和实用性。
将Step-3从理论设计转化为实际可用的系统，需要解决无数工程技术难题。研究团队在推理系统架构、数据传输格式、内核优化、NVLink通信优化等方面进行了精心设计，确保了系统的高效稳定运行。同时，系统还实现了精确的工作负载平衡、多层次的错误检测和恢复机制以及灵活的配置管理等功能，为运维人员提供了便捷的工具和详细的性能监控数据。
Step-3的成功不仅是一次技术突破，更是AI发展史上的一个重要里程碑。它证明了通过硬件感知的模型-系统协同设计，可以在不牺牲模型能力的前提下，显著降低AI服务的运营成本。这一成果将推动更多企业和开发者使用大型AI模型，促进AI技术的广泛普及和应用。同时，Step-3的设计理念和技术细节也为AI系统工程领域提供了宝贵的经验和参考。
当被问及Step-3相比其他大模型的特别优势时，StepFun团队表示，Step-3最大的优势在于其成本效率极高。虽然参数庞大，但运行成本却比许多更小的模型还要低。这一优势得益于其创新的分离式架构和多矩阵分解注意力机制。至于普通用户何时能用上Step-3技术，团队表示目前主要面向企业级AI服务提供商，但预计随着技术的推广和开源计划的实施，更多基于Step-3理念的产品将出现，逐步惠及普通用户。
