2026世界人工智能大会暨人工智能全球治理高级别会议(WAIC 2026)上,人工智能安全治理成为备受关注的议题之一。随着大模型加速迈向智能体时代,AI正在从“回答问题”走向“自主执行任务”,如何在能力持续提升的同时确保安全可控,成为产业界、学术界共同关注的重要议题。
为什么智能体安全成为今年AI治理的重要议题?一个关键变化是,过去人工智能安全更多关注模型“输出什么”,而进入智能体时代,关注点正在转向AI“会做什么”。安全问题已不再只是防止模型生成错误答案,而是要确保整个系统的决策和行动处于可控范围。
在7月19日的WAIC 2026前沿AI与智能体安全论坛上,图灵奖得主约书亚·本吉奥表示,人工智能能力正沿着快速增长轨迹发展,当前能力提升越来越集中于推理、编程、科学研究以及自主行动等领域。与此同时,安全保护措施的提升速度仍可能赶不上能力增长。
“我们大多数人只想着监管AI本身,这只是其中一个维度。”浙江大学求是特聘教授杜跃进接受记者采访时表示,智能体进入真实应用场景后,安全治理不能只关注模型本身,系统性监管不可或缺。杜跃进还表示,智能体安全正在进入“问题大爆炸”阶段——过去,人们习惯寻找单一漏洞并修补,但智能体涉及模型、数据、工具、权限、业务流程等多个环节,任何一个环节出现问题,都可能引发连锁影响。特别是在金融、电力、政务、科研等关键领域,不能简单将“能用”理解为“安全可用”。
安远AI创始人兼首席执行官谢旻希表示,当前全球AI治理需要构建从“看清风险”到“系统防范”再到“规则协同”的治理闭环。
面对新的风险形态,安全能力建设正在从理念走向具体工具和方法。此次论坛上,安远AI联合相关机构和企业发布多项研究成果。其中,前沿AI风险监测平台2.0覆盖网络攻击、生物、化学、有害操纵和失控五类风险,目前已监测16家公司的80多个模型;相关风险测评基准数据库收录200多项测评基准。会上还发布了《前沿AI风险与应急响应研究报告(征求意见稿)》,该报告聚焦前沿AI风险及其应急响应体系建设,重点关注全球前沿AI模型与系统可能引发风险后的应急响应机制和安全能力建设。业内专家认为,智能体安全不能再依靠一次性的上线前测试,而需要贯穿运行全过程。中国信息通信研究院人工智能研究所所长魏凯表示,评估既是技术演进的“指南针”,也是连接技术创新和产业应用的纽带,并为安全治理提供依据。未来,身份识别、权限控制、行为审计、异常监测和实时响应等能力,将成为智能体落地的重要支撑。
在产业现场,安全问题也日益受到更多关注。在酒店、制造、交通等领域,智能体已经开始承担真实任务。云迹科技主要面向酒店等服务场景提供机器人服务。不同于传统软件,机器人不仅要处理信息,还要在真实环境中行动,这也让企业更早感受到智能体安全正在从保护数据,转向保障AI决策可靠、行动可控。云迹科技首席发展官谢云鹏表示,随着机器人服务智能体应用扩大,企业客户关注点正在变化:过去更多关注数据是否泄露,如今开始关注“AI为什么作出这一决策”“出现异常后能否追溯”。这也反映出产业对于智能体安全的关注,正在从数据保护延伸到决策可信和过程可控。
人工智能竞争正进入新阶段:模型能力定义了AI的“高度”,而安全可信能力则定义了AI的“广度”。未来,安全能力或将成为人工智能走向规模化应用的关键支撑。(记者 关佳浩)
来源:新华网
商业头条网

