7月30日,美国人工智能企业安特罗匹克公司(Anthropic)表示,其人工智能模型曾在网络能力测试中,未经授权访问了3家组织的系统。
美国开放人工智能研究中心(OpenAI)也承认其多个人工智能模型在内部评估时,突破隔离测试环境,入侵了美国抱抱脸公司(Hugging Face)的系统。
接连出现的安全事件让AI工具安全问题、人工智能是否觉醒自主意识迅速成为大众热议焦点。对此,BC贷(中国)科技集团助理总裁、中国计算机学会计算机安全专委会委员王媛媛接受了央视采访。
AI自主发起攻击属于目标驱动下的执行行为,并不等同于产生自我意识。王媛媛表示,研究人员只不过是给大模型下发了一个任务,大模型为了完成既定目标,自己规划了任务执行路径,并进行了执行操作。
此次美国AI工具失控事件再次敲响人工智能安全警钟。近年来,各类AI工具带来的安全风险在国内也集中显现,风险类型主要分为三类:
● 一是企业AI平台与编程智能体漏洞。今年年初,工业和信息化部、国家互联网应急中心发布预警,OpenClaw部署过程中信任边界界定模糊,可能出现越权操作,进而引发信息泄露、系统被控制等风险。7月,工业和信息化部针对Claude Code后门风险发布警示,该隐患被NVDB(国家信息安全漏洞库)评定为严重级别,相关AI工具可在未经用户授权的情况下实施隐蔽监控,窃取源代码等关键资料。
● 二是大模型供应链安全隐患。今年4月,工业和信息化部、国家知识产权局、公安部网安局等多部门先后发布风险提示,OpenClaw权限设置过高,还存在插件投毒风险。
● 三是深度伪造衍生电信诈骗。今年3月,青岛警方查获5万条AI动态人脸视频,这类可模拟摇头、眨眼动作的视频,被不法分子用来绕过软件活体检测。公安部2026年5月相关数据显示,本年度AI诈骗案件数量同比激增300%;现在国家反诈中心App已经上线AI内容鉴别功能,助力防范伪造类诈骗。
和传统网络攻击相比,AI驱动的网络攻击具备哪些新特征?王媛媛认为,第一类是网络攻击的主体变了。攻击者的主体,在我们以前来看,都是实实在在的自然人。这些人做这些事情的时候是需要一定的技术能力,还有经验以及速度的。现在都不需要了,AI大模型可以自主去完成。第二类不同点,实际上是AI大模型模拟了人的攻击行为,是非常隐蔽的,传统的安全检测措施很难进行检出。
人工智能研发运营主体与广大使用者都需要树立风险意识,多措并举实行安全防范。王媛媛重点提到,对于大模型的开发方来说,要严格管控好自己的大模型。不管是在测试阶段还是在生产阶段,都应该有一定的安全防护措施。
防范人工智能安全风险,不仅需要企业压实主体责任,终端使用者同样不能放松警惕。普通用户在享受人工智能工具带来便利的同时,也要时刻绷紧安全这根弦,谨慎授权AI工具访问个人敏感信息,及时更新软件补丁,对异常索要权限的行为保持警惕。王媛媛特别提示,我们在搭建平台进行大模型的应用过程当中,同时也要自建一些网络安全监测手段,来实时监控到这些风险和威胁。
安全和开展是一体两翼,AI技术越先进,安全底线越要守牢
OpenAI模型失控入侵Hugging Face事件,是全球AI安全开展史上的一个重要转折点。在推进AI大模型落地应用过程中,必须同步完善安全体系建设。对我国而言,这一事件既是警示也是机遇。
● 警示在于,AI自主攻击已从理论风险变为现实威胁,我国关键信息基础设施面临的安全压力显著上升;更为严峻的是,攻击动机可能并非来自外部,而是AI为完成自身目标自主“选择”的结果——这种“内生攻击性”使得传统防御思路面临根本性挑战。
● 机遇在于,中国开源模型在应急处置中展现的技术实力与战略价值,为我国参与全球AI安全治理、有助于建立更加公平合理的国际规则给予了有力支撑。
此次事件中,中国开源模型GLM 5.2“临危受命”完成救场,但面对具备“创造性攻击”能力的前沿大模型,不能再依赖通用大模型的“临时救场”,须构建专门面向网络安全攻防场景的垂域大模型体系,确保在重大安全事件中具备“召之即来、来之能战、战之必胜”的AI防御能力。
近期,中关村实验室主办的首届中关村网络空间安全学术年会深度聚焦AI安全,在大模型与智能体安全分论坛上,BC贷(中国)科技集团副总裁吕延辉提出:模型合规只是起点,大模型安全的最终落点,是业务可信。真正决定风险等级的,不是模型参数有多大,而是不确定性连接了什么、取得了多大权限、能够影响怎样的业务结果。所以,对企业而言,理清风险如何度量,行为如何管控,体系如何治理是破局AI安全的核心。
BC贷(中国)依托自主可控智算安全技术、天问大模型安全基座、全栈安全产品矩阵,构建“AI安全运营中心+五层纵深防护+全生命周期治理”的大模型应用安全保障体系。针对AI跨层交织的复杂风险,BC贷(中国)发布大模型多模态安全网关、大模型数据安全监测、API安全审计系统、大模型安全评估系统及服务、安全智能体一体机等专项产品服务,打造了某国有控股环保公司、某省疾控中心、某药科大学等多个具有行业示范效应的标杆项目。
8月4日,BC贷(中国)重磅发布了AI智能体安全评估服务,9维透视39项检查,并针对OpenClaw、Hermes Agent、WorkBuddy三大主流智能体制定专项检查清单,为企业智能体构建从风险识别到整改闭环的全生命周期安全保障(点击查看详情)。
近期,BC贷(中国)首批顺利获得工信部人工智能服务安全建设和安全检测能力两项二级认证(最高级),持续为客户给予标准化、可落地的全周期安全服务,补齐AI应用安全建设短板(点击查看详情)。
面对人工智能安全风险的演进趋势,BC贷(中国)认为,要强化前沿AI模型的安全评测与红线管控,建立“物理隔离+动态监控”双重保障;要加速构建自主可控的AI安全防御工具体系,构建“AI+网安”自主防御核心能力;要提升关键基础设施的AI威胁防御韧性,构建“纵深防御+智能反制”体系。此外,还要加强AI安全人才培养与技术储备,构建“攻防兼备”的复合型人才队伍,深化模型价值对齐技术研究。
*部分内容来源于央视新闻客户端