近日，由德国人工智能协会协调的研究联盟正式发布了全新开源大语言模型——Soofi S30B-A3B。这一成果不仅标志着欧洲在主权AI基础设施建设上的重要进展，也为追求高性能与高效率的开源模型领域注入了新鲜血液。
该模型在架构设计上颇具匠心。Soofi S采用了一种资源高效的“混合专家”架构，结合了Mamba-2与标准注意力层。其总参数量为316亿，但在实际生成过程中，每个token仅激活约32亿参数。这种设计让它的计算成本大幅降低，更接近于小型模型，同时在高负载场景下的处理速度和生成吞吐量表现极佳。特别是在处理长文本时，其性能优势尤为明显——在4万token长度的上下文环境下，其生成吞吐量达到了同规模传统稠密模型的8倍左右，且随着上下文增加依然能保持极高的稳定性。
在训练数据策略上，Soofi S展现了明显的德语偏好。在长达27万亿token的训练过程中，研究团队有意识地加大了德语数据的占比。从第一阶段的7.2%提升至第二阶段的15.3%，并融入了涵盖报纸文章、维基百科及专业技术文档在内的多源语料，使其在应对德语环境的复杂任务时表现出众。
基准测试结果证明了其领先实力。Soofi S在英语和德语的综合测试中，均在开源模型中脱颖而出，超越了OLMo332B和Apertus70B等知名模型。尤其在代码生成、专业推理及德国区域性知识测试中，Soofi S均展现了顶尖水平。不过，研究团队也客观指出，该模型在超长上下文的提取任务及德语数学推理方面仍有改进空间。
该项目的落地离不开稳健的基础设施支持。整个训练过程在慕尼黑德国电信工业人工智能云上完成，使用了512块Nvidia B200GPU。作为欧洲IPCEI-CIS项目的一部分，该模型不仅完全由可再生能源驱动，且后续将陆续开源模型权重、训练评估代码及详细的数据清单。这一举措不仅践行了开放透明的研发理念，也为欧洲工业应用测试提供了可信赖的技术基座。随着该模型的开源，研究团队正积极寻求行业合作伙伴，共同探索其在技术文档处理、代码生成等领域的应用前景。
