英伟达近日宣布推出一款名为Nemotron-Labs-TwoTower的新型语言模型，旨在突破大模型在Token生成速度方面的技术瓶颈。该模型采用创新的双塔架构设计，通过分离上下文处理与去噪任务，显著提升了文本生成效率。
在技术架构上，Nemotron-Labs-TwoTower总参数规模达600亿，由两个300亿参数的独立模块组成：自回归上下文塔（AR/context Tower）和扩散去噪塔（diffusion/denoising Tower）。每个模块仅激活30亿参数，同时集成128个可路由专家系统。这种设计使上下文塔保持静态特征提取能力，而去噪塔则专注于动态噪声消除，两者通过逐层交叉注意力机制实现协同工作。
开源策略方面，英伟达选择在Huggingface平台以NVIDIA Nemotron Open Model License协议公开模型权重。这种开放模式既保证了技术共享，又通过定制化授权条款规范了商业应用场景。研发团队特别强调，双塔架构在保持模型性能的同时，将实际运行吞吐量提升至传统自回归模型的2.42倍。
基准测试数据显示，在MMLU、ARC-Challenge等12项主流评估任务中，新模型平均保留了98.7%的原始质量。具体指标显示，在数学推理任务GSM8K上取得90.14%准确率，代码生成任务Humaneval达到75.58%通过率，常识推理任务WinoGrande保持76.09%的准确水平。特别值得注意的是，模型在保持上下文理解能力的同时，生成效率实现质的飞跃。
技术白皮书详细披露了双塔架构的创新机制：上下文塔采用冻结参数设计，确保文本连贯性特征稳定提取；去噪塔通过动态路由机制，将输入Token分配至最适合的专家子网络处理。这种解耦设计不仅提升了计算并行度，还使模型能够针对不同任务类型优化资源分配，最终实现质量与效率的平衡。
