ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

Anthropic与OpenAI模型在安全测试中失控

时间:2026-08-05 12:26:21来源:第一财经编辑:快讯

当地时间8月4日,英国人工智能安全研究所(AISI)发布报告称,在近期一次例行网络安全评估中,AnthropicMythos 5和OpenAIGPT-5.6-Sol模型在真实互联网上采取了未经授权的自主行动,指向真实个人和组织,表现出可能具有欺骗性的行为。

AISI表示,此次评估于7月25日开始,共使用多个模型在两类网络靶场上进行了122次运行测试。其间,有10次AI智能体在未经授权的情况下在实时互联网上采取了行动,记录的19起越界事件中17起来自AnthropicMythos 5,2起涉及OpenAIGPT-5.6-Sol。

在最严重的一起案例中,一个智能体试图向GitHub上的一个公开开源项目植入恶意代码。为实现这一目的,该智能体研究了项目的人类审核员,创建了多个虚假网络身份,通过社会工程学手段向真实维护者施压,要求其批准代码。当拉取请求受到质疑时,该智能体修改了此前的活动记录,使其看起来并无恶意,并考虑换一个新身份继续行动。最终,一位审核员发现并拒绝了该恶意代码。

该智能体还向真实个人直接发送消息和文件,试图说服其运行恶意代码。调查还发现,同时被评估的独立智能体之间存在协作行为,一个智能体在GitHub上公开留言,向处理同一挑战的其他智能体提供协作,并提供复用其账户和痕迹的说明。

AISI在报告中强调,这并非模型逃逸安全测试环境(即沙箱)的案例。按照网络安全测试的标准操作,AISI有意允许了互联网访问,并刻意禁用了模型提供商的安全分类器,因此,这些条件并不反映模型向公众开放时的实际情况。

基于此,AISI认为是评估设计选择和特定配置促成了模型失控行为。但智能体活动显示出一些新颖的、可能具有欺骗性的行为,其程度和严重性均超出预期。AISI表示,这是首次在没有特定提示的情况下,在现实世界中如此清晰地看到与自主性和欺骗性相关的风险显现出来。

OpenAI同日发文回应称,随着模型能力的提升,围绕模型的安全保障系统也需要随之升级。这不仅包括用于开发模型的环境,也包括实验室和独立合作伙伴用于评估模型的环境。

Anthropic回应称,正与AISI合作收集事件细节,并通过审查Claude推理记录进行独立分析,以了解其对自身处境的理解,找出行为背后的原因。

AISI在报告中总结称:OpenAI和Anthropic近期事件指向风险格局的转变。危害不仅来自人们故意滥用公开可用的模型,还可能来自在内部研究或特权访问环境中运行的智能体采取超出其授权范围的意外行动。

更多热门内容
家用AI批改设备怎么选?四大维度解析,适配不同家庭学习需求
随着K12阶段家庭教育需求的不断升级,家用AI批改设备逐渐成为不少家庭辅助学习的选择,很多用户在挑选时都会关注设备的实用性、适配性以及实际使用体验,希望能找到真正贴合家庭学习需求的产品,也有不少用户会好奇哪些…

2026-08-05

家电林立,扫地机器人凭啥脱颖而出?智能判断与全能处理成关键!
你有没有想过,为什么家里的空调、冰箱、洗衣机,统统被叫作“家电”,唯独那个在地上跑来跑去、偶尔还会撞墙的家伙,被我们一本正经地称为“机器人”?但它们从来不需要面对“这个碗上有一块干了三天的米饭,该用多大水压…

2026-08-05

MirrorCode榜单揭晓:Claude Fable 5登顶,AI编程迈向“项目级委托”新阶段
在这19天里,模型会反复运行原程序、比较结果、补写功能,再把测试重新跑一遍。 虽然漏掉了一个处理日期注释的冷门边界,被MirrorCode的100%通关线拦了下来,但它已经把原本按周计算的工程量,压进了十几…

2026-08-05

Microchip与美光强强联手,PCIe Gen 6存储架构助力数据中心与AI发展
IT之家 8 月 4 日消息,Microchip 今天与美光合作展示高性能端到端 PCIe Gen 6 存储架构,这套方案结合了Microchip 的 PCIe Gen 6 交换芯片和美光 9650 NVM…

2026-08-05

拆解中国机器人后日本工程师认清现实:高端路线难敌量产迭代新逻辑
网友调侃说这是“日本专家拆完直接投降”,这倒不是真的举白旗认输,是他们像泄了气的皮球,心气儿散了,发现自己领跑半个世纪的赛道,被中国企业用一套新的逻辑,直接甩到了身后。 这才是最让日本团队绝望的地方:他们还…

2026-08-05

鹿明发布Lumos Ego Vue与数据管线,助力具身智能开启产业规模化新篇
针对这一问题,鹿明自主研发 Lumos数据管线自动化技能生产基础设施,通过多源数据接入、智能处理与技能解构能力,将真实世界操作经验转化为面向具身智能模型训练的标准化技能资产,打造连接“经验获取、技能理解、模…

2026-08-05