ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

360潘剑锋:智能体时代安全新范式,聚焦驾驭AI不确定性难题

时间:2026-06-27 06:39:57来源:天脉网编辑:快讯

在ISC.AI 2026大会期间,360集团首席科学家、集团高级副总裁潘剑锋发表了关于AI安全治理的最新观点。他指出,AI漏洞挖掘技术正以惊人的速度发展,去年还被质疑能否胜任这项工作的AI,如今已让传统安全人员感受到前所未有的压力。这一转变并非预示着安全人员的职业危机,而是整个行业迈向更高层次的标志。

潘剑锋深入分析了传统安全面临的挑战,指出问题不仅在于攻击手段的多样化和攻击速度的提升,更在于计算逻辑的根本性变革。传统软件基于确定性计算构建,人类需要将复杂多变的世界抽象为固定的计算模型。然而,大模型的出现打破了这一模式,计算从确定性转向不确定性,使机器能够直接处理真实世界中的模糊、开放任务,甚至理解人类意图并主动适应。

这种不确定性赋予了AI强大的推理和创造能力,但同时也成为新型安全风险的源头。智能体在处理相同任务时,可能因理解差异、推理路径不同而产生截然不同的结果。潘剑锋将这种不确定性分为外部和内部两方面:外部风险源于攻击者将恶意意图隐藏在用户输入或系统交互中,而大模型可能"误读"这些隐藏指令;内部风险则来自大模型依赖统计规律生成结果的特性,导致幻觉问题,如编造虚假信息或对事件顺序判断错误。

面对这一新形势,潘剑锋提出安全目标应从"防御已知威胁"转变为"管控不确定性"。他介绍了360提出的智能体安全治理框架,涵盖输入层、推理层和执行层三个维度:在输入层,通过恶意意图识别引擎检测隐藏攻击;在推理层,利用世界认知模型提供决策锚点,减少幻觉产生;在执行层,采用环境孪生沙箱技术限制智能体行动范围,确保异常操作可被拦截和回滚。

360在输入层的安全方案依托于其独特的数据优势。潘剑锋强调,恶意意图识别模型的训练高度依赖数据质量,360通过长期积累的搜索、安全攻防和监管合规数据,构建了其他安全厂商难以复制的语料库。实际测试表明,接入该引擎后,开源大模型的安全性可提升10%至30%。在推理层,世界认知模型通过提供对现实世界的内在机制理解,帮助大模型建立更可靠的推理基础。

对于智能体安全市场的未来,潘剑锋预测这将成为一个标准化配置领域,但不会出现单一垄断者。他比喻这个市场将类似于手机行业,既有大型厂商主导主流市场,也为细分领域留下专业化发展空间。同时他澄清,AI厂商不会因模型能力增强而取代专业安全公司,安全领域仍需要深厚的攻防经验和行业知识积累,但AI的发展正在重新定义这个行业的准入标准。

更多热门内容
贝发集团AI文创翻译设备:跨语言沟通场景适配与用户选型指南
从应用逻辑来看,这类AI文创产品主要适配以下需求:一是即时聊天场景下的实时翻译,减少在多个应用间切换的时间成本;二是纸质或电子文本的快速翻译,帮助用户理解合同条款、公共标识等内容;三是会议与访谈场景中的记录…

2026-08-18

九光技术发布小睿G3人形机器人,可搬运超百公斤重物助力负重工作
IT之家 8 月 17 日消息,据 Now 新闻今天报道,九光技术今天在香港科学园发布新一代人形机器人小睿 G3,主打功能是辅助人类负重工作。据介绍,小睿 G3 是九光技术自研的第三款人形机器人,它身高 1…

2026-08-18