ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

360潘剑锋:AI漏洞挖掘促行业升级,智能体安全需驾驭不确定性

时间:2026-06-27 11:13:13来源:快讯编辑:快讯

在ISC.AI 2026大会期间,360集团首席科学家、集团高级副总裁潘剑锋发表了关于AI安全治理的深度见解。他指出,AI漏洞挖掘技术已从备受质疑发展到让安全人员感受到压力,这标志着行业正经历加速升级而非面临淘汰危机。针对智能体存在的天然安全短板,他提出需构建"驾驭AI不确定性"的新型治理范式。

传统安全防御体系正遭遇根本性挑战。潘剑锋分析称,计算逻辑的转变是核心动因——过去软件基于确定性计算构建,人类需将复杂世界抽象为机器可理解的规则;而大模型的出现使计算转向不确定性,机器开始具备理解人类意图并适应真实世界的能力。这种转变虽赋予AI处理复杂任务的创造力,却也成为新型安全风险的源头,相同输入可能引发完全不同的推理路径和行动结果。

AI安全风险呈现双重维度特征。外部攻击者可通过隐藏恶意指令于用户输入、系统提示等常规交互中,利用模型对模糊指令的解读能力实施注入攻击。内部则存在模型认知缺陷引发的风险,包括编造虚假信息、时间逻辑错误等幻觉问题,以及多智能体协同工作中错误判断的链式放大效应。这些特性要求安全治理必须从防御已知威胁转向管控不确定性。

360集团提出的三层治理体系构成完整防御闭环。输入层通过恶意意图识别引擎构建"以模治模"的防御机制,依托搜索、安全攻防等领域的独家数据资源,使开源大模型安全性提升10%-30%。推理层采用世界认知模型提供决策锚点,通过理解世界运行规律来约束模型推理过程。执行层则部署环境孪生沙箱技术,对工具调用、数据访问等操作实施动态监控与异常回滚。

对于市场发展趋势,潘剑锋认为智能体安全将成为基础配置,但不会形成单一垄断格局。该领域更可能呈现手机行业般的生态结构,头部企业占据主要市场的同时,垂直领域仍存在大量专业化机会。他特别强调,AI厂商无法取代专业安全公司,安全行业仍需依赖攻防经验与行业知识构建壁垒,但AI技术正在重塑行业准入标准。

更多热门内容
360潘剑锋:智能体时代安全新挑战,以治理范式驾驭AI不确定性
围绕这一变化,潘剑锋在主题演讲中提出了360智能体安全治理的整体思路:在输入层识别恶意意图,在推理层减少幻觉和错误判断,在执行层限制智能体的行动边界。 在输入层,360通过恶意意图识别引擎,识别隐藏在用户输…

2026-06-27

七项国标为智能体互联筑基:数字身份证赋能,开启AI协同新篇章
6月26日,中国电子技术标准化研究院副院长范科峰在市场监管总局召开的新闻发布会上介绍,该系列标准的7个部分按照“让智能体有序可信协作”的设计思路,构建起体系完整、逻辑闭环的智能体互联技术基座。 三是依托“求索…

2026-06-27

苹果Vision Pro及智能眼镜项目负责人保罗·米德下周离职,将转投OpenAI硬件部门
米德将于下周离开苹果并加入 OpenAI 硬件部门,参与 AI 设备研发工作。现任 Vision Pro 与智能眼镜产品设计负责人弗莱彻 ·罗斯科夫(IT之家注:Fletcher Rothkopf)将接手…

2026-06-27

市场监管总局加速前沿技术标准制定 智能体互联国标获批搭建统一规范体系
IT之家 6 月 27 日消息,据央视新闻 6 月 25日报道,市场监管总局正会同相关部门,加快智能体等前沿技术领域标准制定速度,动态完善适配产业发展的人工智能国家标准矩阵。 报道称,目前正在抓紧制定的国家…

2026-06-27