ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

360潘剑锋:智能体时代安全新范式,聚焦驾驭AI不确定性难题

时间:2026-06-27 06:39:57来源:天脉网编辑:快讯

在ISC.AI 2026大会期间,360集团首席科学家、集团高级副总裁潘剑锋发表了关于AI安全治理的最新观点。他指出,AI漏洞挖掘技术正以惊人的速度发展,去年还被质疑能否胜任这项工作的AI,如今已让传统安全人员感受到前所未有的压力。这一转变并非预示着安全人员的职业危机,而是整个行业迈向更高层次的标志。

潘剑锋深入分析了传统安全面临的挑战,指出问题不仅在于攻击手段的多样化和攻击速度的提升,更在于计算逻辑的根本性变革。传统软件基于确定性计算构建,人类需要将复杂多变的世界抽象为固定的计算模型。然而,大模型的出现打破了这一模式,计算从确定性转向不确定性,使机器能够直接处理真实世界中的模糊、开放任务,甚至理解人类意图并主动适应。

这种不确定性赋予了AI强大的推理和创造能力,但同时也成为新型安全风险的源头。智能体在处理相同任务时,可能因理解差异、推理路径不同而产生截然不同的结果。潘剑锋将这种不确定性分为外部和内部两方面:外部风险源于攻击者将恶意意图隐藏在用户输入或系统交互中,而大模型可能"误读"这些隐藏指令;内部风险则来自大模型依赖统计规律生成结果的特性,导致幻觉问题,如编造虚假信息或对事件顺序判断错误。

面对这一新形势,潘剑锋提出安全目标应从"防御已知威胁"转变为"管控不确定性"。他介绍了360提出的智能体安全治理框架,涵盖输入层、推理层和执行层三个维度:在输入层,通过恶意意图识别引擎检测隐藏攻击;在推理层,利用世界认知模型提供决策锚点,减少幻觉产生;在执行层,采用环境孪生沙箱技术限制智能体行动范围,确保异常操作可被拦截和回滚。

360在输入层的安全方案依托于其独特的数据优势。潘剑锋强调,恶意意图识别模型的训练高度依赖数据质量,360通过长期积累的搜索、安全攻防和监管合规数据,构建了其他安全厂商难以复制的语料库。实际测试表明,接入该引擎后,开源大模型的安全性可提升10%至30%。在推理层,世界认知模型通过提供对现实世界的内在机制理解,帮助大模型建立更可靠的推理基础。

对于智能体安全市场的未来,潘剑锋预测这将成为一个标准化配置领域,但不会出现单一垄断者。他比喻这个市场将类似于手机行业,既有大型厂商主导主流市场,也为细分领域留下专业化发展空间。同时他澄清,AI厂商不会因模型能力增强而取代专业安全公司,安全领域仍需要深厚的攻防经验和行业知识积累,但AI的发展正在重新定义这个行业的准入标准。

更多热门内容
MWC上海:时空道宇全栈开源生态引领商业航天从“拼量”迈向“拼生态”
尤其值得关注的是,当前,低轨轨道与频谱资源已然成为全球各国角逐的核心战略资源,而低轨星座组网作为商业航天产业链的“链主”环节,其加速推进不仅意味着空间基础设施日益完善,更直接带动了从上游元器件、单机制造到下游…

2026-06-27

国产存储系统闪耀国际舞台!国家超算互联网ParaStor双榜夺冠创佳绩
目前,该系统已在大模型训练、科学计算与数据分析等关键场景中持续提供高吞吐、低时延的数据支撑。其硬件与软件层面均实现全栈自主研发,与计算、网络体系深度协同,可为国家超算互联网构建起高性能、高可靠的“存力”底座…

2026-06-27

豆包大模型2.1跨越质变门槛,AI从“可用”迈向“实用”新阶段
AI蓝媒汇体验了豆包大模型2.1的Agent能力,向其提出要求:“帮我制作一份《桃花源记》的中学语文课件PPT,包含作者介绍、创作背景、核心内容解析、经典佳句赏析四个部分,要求图文并茂,每页都有合适的配图。…

2026-06-27

华为赵振龙DTW峰会发声:AI驱动自智网络双核演进,共拓移动AI新未来
他指出,AI驱动的第四次工业革命将通信产业带入了移动AI时代,AI业务的全面繁荣驱动运维提效与网络提质成为高阶自智网络使能运营商商业闭环的双核心,两大核心将驱动移动网络实现极简运维、极致能效与业务增收,并呼吁…

2026-06-27