手游营地,热门手游攻略、新游测评、礼包兑换一站式平台
当前位置: 网站首页 资讯中心 软件资讯 正文
软件资讯

360首席科学家潘剑锋提出智能体安全新范式:驾驭AI不确定性 从输入到执行构建三层防护体系

软件资讯 来源:互联网 作者:pconline 发布时间:2026-08-02 10:18:44

在近日举行的ISC.AI 2026大会上,360集团首席科学家潘剑锋指出,AI在漏洞挖掘等安全领域的应用已取得显著进展,并对传统安全人员构成挑战。他认为,这标志着整个安全行业需要加速升级,而智能体时代安全的核心在于应对和驾驭AI的不确定性。

潘剑锋分析,传统安全挑战源于计算逻辑的根本性变化。传统软件基于确定性计算,而大模型的出现引入了不确定性,使其能够处理真实世界的模糊任务,但也成为新型安全风险的根源。智能体可能对相同任务产生不同理解与行动,其不确定性风险分为外部和内部两方面。外部风险指攻击者将恶意意图隐藏于输入、提示等内容中,诱导模型;内部风险则源于模型自身的幻觉及在连续推理中可能被放大的判断错误。

为此,潘剑锋提出了智能体安全治理的新思路,即从“防御确定威胁”转向“管控不确定性”,并构建三层防护体系。在输入层,通过恶意意图识别引擎,利用360独有的多类数据资源识别并阻止攻击,实测可提升开源大模型安全性10%至30%。在推理层,通过自研的世界认知模型为AI推理提供“认知锚点”,抑制幻觉。在执行层,利用环境孪生沙箱监控和限制智能体的行动,确保错误不会演变为安全事故。

潘剑锋展望,智能体安全未来将成为智能体的标配基础设施,市场格局可能类似手机行业,由几家主要厂商主导,同时存在大量专业化细分空间。他强调,AI的发展正在重塑安全行业门槛,但安全本身仍是高度垂直的专业领域,AI厂商不会直接取代安全公司。

相关资讯 more..
手游营地
据悉,MiniMax发布新一代多模态生成模型MiniMax H3,并宣布将于近期开源。H3是MiniMax从“特化任务模型”迈向“通用多模态智能”的重要探索,其不再以单一任务为边界,而是在多模态上下文
手游营地 08-01 2
手游营地
快科技7月31日消息,在ChinaJoy现场,REDMI展示了K100 Pro Max真机,并且直播为大家带来了真机上手展示。这次展示的是K100 Pro Max全新“赤霞珠红”配色,尚未公布其他配色
手游营地 08-01 3
手游营地
第56届国际物理奥林匹克竞赛(IPhO 2026)日前正式落幕,华为小艺在理论考试中取得28.6分(满分30分) 的优异成绩,高分超出理论金牌线。本届IPhO竞赛汇聚全球90多个国家和地区的400余名
手游营地 08-01 2
手游营地
据悉,小米旗下增程车型Sky Nomad打破行业惯例,同时采用禾赛科技和速腾聚创两家激光雷达供应商的产品,前向主激光雷达来自禾赛,速腾则提供辅助感知方案。此举打破了车企通常绑定单一供应商的合作模式,对
手游营地 08-01 1