在AI智能体系统里,模型并不是唯一决定任务表现的环节。围绕模型搭建的Harness负责管理上下文、调用工具、检查执行结果,并判断流程何时结束。谷歌研究团队在一篇新论文中提出,如果让这类运行框架具备自我改进能力,智能体的任务完成情况可能出现明显变化。
该论文名为《Harnesses That Improve Themselves》,公布时间为北京时间11月20日。研究注意到,同一套Harness换到不同模型上,实际效果并不一致。为某个模型调好的框架,迁移后可能让任务长时间停滞,也可能造成Token消耗过高。
研究团队给出的方案不是反复修改提示词,而是让优化模型直接改动Harness代码。实验中的编程智能体Harness只有142行,被拆成四个可编辑模块。每一轮优化仅针对其中一个模块,之后在验证集上测试效果,并设定Token使用上限。修改若通过验证就保留,未通过则丢弃。
测试选用Gemini 3.8 Flash模型,在40道未参与优化的SWE-bench Lite软件工程任务上运行。研究还比较了两种对照方案:一种允许优化模型不限范围地重写整个Harness,另一种只依赖提示词规则约束智能体行为。
模块化修改并设置验证门槛后,任务成功率达到40.0%。仅通过提示词规则约束时,成功率反而降至2.5%。研究人员因此认为,智能体的重要运行约束应尽可能写入代码机制。例如,每次修改都自动跑测试,再以任务成功率和Token消耗决定是否接受改动,可以减少无效优化造成的资源浪费。
增加框架复杂度,也未必意味着执行效率更高。随着AI智能体从简单问答扩展到软件开发、多工具调用和复杂任务执行,Harness对模型实际表现的影响正在变大。该研究提出的思路是,不重新训练底层模型,而是改进模型外围的执行框架,从而提高任务完成率与Token使用效率。
不过,当前结果主要来自特定模型和40道软件工程测试任务。对于更多模型、不同类型智能体任务以及长期运行环境,这套方法是否同样有效,还需要进一步验证。
在成本对比中,不受限制的整体重写方案任务成功率为42.5%,略高于模块化方案,但平均每项任务消耗约45.16万Token;模块化方案平均每项任务消耗约4.67万Token,接近前者的十分之一。