北京时间11月20日,谷歌发布了一项名为《Harnesses That Improve Themselves》的研究。论文讨论的是AI智能体如何通过持续调整自身运行框架,来提高任务完成效果。所谓Harness,可以理解为包围在AI模型外的一层执行系统,它负责管理上下文、调用工具、检查任务结果,并判断智能体何时停止工作。
研究团队指出,同一套Harness放到不同AI模型上,表现可能相差很大。为某个模型调好的框架,迁移到另一个模型后,会出现任务卡住或Token消耗过高等情况。为此,他们提出一种可自我改进的Harness方案,让优化模型通过修改代码来改善智能体执行效率,而不是只改提示词。
实验中使用的编程智能体Harness只有142行代码,被拆成四个可编辑模块。每一轮优化只能改其中一个模块,然后放到验证集上测试效果,同时设定Token使用上限。只有通过验证的修改才会被保留,未达标的修改会被丢弃。
研究人员让Gemini 3.8 Flash模型在40道未参与优化的SWE-bench Lite软件工程任务上测试。初始Harness只能解决5.0%的任务;经过模块化优化和验证筛选后,成功率提高到40.0%,平均每项任务消耗约4.67万Token。
另一组对比中,如果允许优化模型不加限制地整体重写Harness,任务成功率可达42.5%,略高于模块化方案,但平均每项任务消耗约45.16万Token,接近前者的10倍。还有一项实验显示,只用提示词规则约束智能体行为,任务成功率反而降到2.5%。
这些结果说明,增加智能体运行框架的复杂度,并不必然带来更高执行效率。整体重写虽然成功率略高,却大幅抬高了Token成本;逐个模块优化并设置验证门槛,在任务表现和计算成本之间更均衡。研究也强调,智能体的重要运行约束应尽量通过代码机制实现,而不是单纯依赖提示词,例如对每次修改自动测试,并以任务成功率和Token消耗决定是否接受修改。
随着AI智能体从简单问答走向软件开发、多工具调用和复杂任务执行,Harness正成为影响模型实际表现的重要因素。该研究目前主要基于特定模型和40道软件工程测试任务。



