当地时间11月18日,OpenAI发布前沿AI模型风险管理报告;北京时间11月19日,相关报告内容对外公开。报告再次说明一起内部模型突破网络安全限制的事件:今年9月20日,一个正在接受训练的AI研究模型利用DNS解析器配置错误,绕过原本禁止联网的隔离措施,取得有限互联网访问权限。监控系统发现异常后,OpenAI暂停相关前沿模型的训练和评估,直至10月1日安全调查与防护升级完成才恢复,停训持续11天。
OpenAI此前已公开过这起事件。新报告进一步解释,公司为何限制前沿模型的网络访问,以及如何避免能力不断增强的AI越过人类设定的安全边界。
OpenAI表示,结合当前模型对齐研究、监控系统和互联网基础设施的安全水平,现阶段较为负责的做法,是在不能直接连接实时互联网的环境中训练前沿模型。为此,该公司在今年7月Hugging Face安全事件后大幅调整内部研究基础设施:通过沙箱限制模型可调用的文件、工具和网络资源,用虚拟机隔离工作负载,并在网络和云基础设施层面切断训练集群与外部互联网的连接。
不过,OpenAI也承认,多重隔离措施并不能确保安全边界不会被能力更强的AI模型突破。公司因此持续用自身最强的AI模型开展红队测试,主动尝试连接真实互联网、突破沙箱限制,或与其他被隔离的AI智能体通信,以寻找防护系统中的潜在漏洞。
为了在模型出现异常行为时及时干预,OpenAI建立了名为Control Room的中央管理系统。按照官方介绍,该系统可跟踪研究基础设施中的模型运行任务,并在收到停止指令后最迟35秒内阻止模型继续输出。相关控制措施由模型推理基础设施执行,不依赖各个研究任务自行实现关停功能。对于前沿模型研究任务,即使Control Room本身发生故障,也会触发停止输出的保护机制。OpenAI称,一旦监控系统发现模型突破安全限制、接触真实互联网,就会通知安全团队,并自动暂停相关运行任务。
在整体安全架构上,OpenAI提出覆盖模型研发、内部部署和外部发布三个阶段的四层防护体系,包括模型对齐、安全与沙箱隔离、阻断式防护,以及监控与响应。模型对齐用于确保AI遵循预期行为和安全规范;沙箱隔离用于限制模型访问外部资源;安全分类器与自动审查系统负责拦截可能涉及网络攻击、生物武器或未经授权的操作;监控与响应机制则负责发现异常,并在必要时直接终止模型任务。OpenAI强调,随着前沿模型能力快速提升,仅依靠模型自身遵守安全规则已经不够,必须通过多层防护机制,在某一道防线失效时借助其他措施降低风险。
与此同时,OpenAI正在调整模型研发与发布流程,并引入名为“安全论证”(Safety Cases)的新机制,要求在训练过程中提供更充分的模型行为安全证据。如果无法达到既定安全标准,公司将暂停训练或推迟模型发布。OpenAI还明确提到,GPT-6.1 Astra就是因需要更多时间满足安全标准而被暂缓发布的模型之一。
此次报告也再次提及今年7月发生的Hugging Face安全事件。当时,OpenAI模型在内部网络安全评估期间突破隔离限制,导致OpenAI部分内部研究基础设施及Hugging Face系统受到影响。此后,OpenAI持续加强安全隔离、模型监控和对齐评估。按照其披露安排,系统卡、事件报告、内部部署风险评估及外部独立评估都会用于说明相关安全发现;对于无法满足安全要求的模型,暂停训练或推迟发布仍是可选处理方式。