人工智能领域近年来掀起一股代码智能体研发热潮，这类系统能够自动分析程序代码并生成优化方案。全球科技企业纷纷宣称其研发的AI在代码性能提升方面取得突破性进展，但支撑这些成果的评估体系正面临前所未有的质疑。由跨国研究团队开展的深度调查显示，当前主流的代码优化基准测试存在系统性缺陷，可能导致对AI能力的误判。
研究团队选取GSO、SWE-Perf和SWE-fficiency三套权威测试平台进行全面审查，这些基准测试包含超过700个真实代码优化任务。实验发现，当测试环境从谷歌云的不同配置服务器切换时，SWE-Perf的140个测试用例中仅有11个（占比8%）能持续稳定地验证优化效果。该平台参考代码的平均加速幅度仅为0.03%，微弱到难以抵抗硬件环境波动带来的影响。
评分机制的设计缺陷进一步扭曲了评估结果。SWE-fficiency采用的调和平均算法对极端值异常敏感，允许单题贡献值达到正常情况的1000倍。实验数据显示，在498个测试用例中，表现最差的10个题目可决定58%至82%的最终评分权重。当研究团队将惩罚上限调整为合理范围后，8个主流AI系统的排名发生显著变化，其中3个系统的位次变动超过2位。
跨平台对比实验揭示出更深层问题。在同时参与GSO和SWE-fficiency测试的8个AI系统中，28组能力对比中有9组结论完全相反。某基于GPT-5的模型在GSO排名第7，在SWE-fficiency却跃居第2。这种矛盾源于评分规则差异——GSO采用二元计分制，而SWE-fficiency的调和平均算法放大了局部失败的影响。
对未达标准答案的66个测试用例分析显示，现有AI系统已具备相当强的优化能力。所有题目均能生成功能正确的代码，98.5%的案例实现性能提升，85.3%的优化幅度达到标准答案的80%以上。进一步分析发现，AI未能完全达标的主要原因是优化深度不足，而非方向错误。在32个采用相同优化策略的案例中，中位性能达到标准答案的89.8%。
这项研究引发学界对AI评估体系的深刻反思。当前基准测试过度依赖预设测试用例和固定评估标准，难以反映真实开发场景中的复杂需求。专家建议，下一代测试平台应引入动态性能分析工具，要求AI自主识别代码瓶颈并验证优化效果，同时建立多维度的评估指标体系。对于现有测试结果，需建立误差分析框架，明确不同测试用例的置信度水平。
完整研究数据已通过arXiv平台公开，论文编号2607.01211v1。该成果为重构AI能力评估标准提供了重要参考，促使行业重新审视技术宣传中的量化指标。随着代码智能体向工业级应用迈进，建立科学严谨的评估体系已成为推动技术健康发展的关键命题。
