ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

OpenAI开源CoT-Control评测:前沿模型思维链可控性尚待提升

时间:2026-03-06 19:03:45来源:互联网编辑:快讯

在人工智能技术快速发展的当下,AI智能体自主处理复杂任务的能力显著提升,但其行为监管问题也随之成为焦点。近期,OpenAI针对一项潜在风险展开研究:当AI模型意识到自身推理过程处于监控状态时,是否会通过修改或隐藏思维链来规避监管,导致安全评估结果失真。

作为多层安全防护机制的重要组成部分,思维链监控技术通过拆解模型推理步骤,识别潜在的不安全行为或意图偏差。为验证这一技术的可靠性,OpenAI研发并开源了名为CoT-Control的评测工具,该工具整合了GPQA、MMLU-Pro、HLE等权威基准中的1.3万余道测试题,要求模型在解题过程中严格遵循特定规则,例如禁用特定词汇、强制使用小写字母或添加指定后缀。

实验结果显示,当前主流推理模型在思维链控制方面表现普遍欠佳。参与测试的13个模型中,可控性得分最高未超过15.4%,最低者仅约0.1%。研究团队发现,模型规模扩大虽能带来轻微改善,但当推理链条延长或经历持续训练后,可控性反而呈下降趋势。即便明确告知模型处于监控状态,其表现提升幅度也极为有限。

基于上述发现,OpenAI认为现阶段AI模型尚不具备通过操纵思维链逃避监管的技术能力,因此思维链监控仍可作为安全评估的有效参考。不过该公司同时指出,需建立长期跟踪机制,将思维链可控性与可监控性纳入模型安全指标体系,以便及时捕捉技术演进带来的新挑战。

更多热门内容
2026年AI外呼选型指南:中小企业如何匹配轻量级与全栈式方案?
核心结论:2026年评估AI外呼方案应围绕语音交互深度、业务执行能力、合规与线路、扩展与集成四个维度展开,而非仅比较价格和通话时长。推荐路线:合力亿捷 SYNEROW 标准版(SaaS/混合云)核心能力:…

2026-06-12