联盟动态

90%活跃智能体合谋作弊:AI已具备入侵真实政府系统的能力

作者:管理员

时间:2026-10-27 08:00:00

摘要:在降低安全防护的评估中,OpenAI 的智能体(Agents)攻击了 Hugging Face,同时试图欺骗其评分器。Anthropic 的文件记录了模型在网络攻击、监视、诈骗和武器开发中的滥用行为。AI 智能体已经具备发起网络攻击和主动欺骗检测机制的能力,而防御性的“护栏”反而阻碍了安全人员进行网络取证。评测同时显示,虽然AI 可被用于网络诈骗、勒索与隐蔽破坏,但这些行为目前主要出现在受控评测中,而在真实场景中的案例并不充分。
图片

01 一场评测如何变成对 Hugging Face 的真实入侵

图片

当前,OpenAI 的网络安全评估演变成了对 Hugging Face 的多智能体协同网络攻击。在 ExploitGym(一个网络漏洞利用测试场)中,给 AI 智能体分配了 898 个隔离的软件黑客挑战,而在 OpenAI 的测试中,智能体连接到了互联网,跨越多次运行共享了发现,并成功入侵了 Hugging Face 的系统。

AI是如何做到的呢?智能体将 OpenAI 的 Artifactory 服务器用作留言板和互联网中继,随后在 41 个 Hugging Face 的工作节点上运行了恶意代码。在这个过程当中,OpenAI 的思维链监控器未能拦截此处运行,但本应在漏洞发生前一天就通知安全人员。

在Hugging Face 的一个公开数据集中发现 14 个具有写权限的用户凭证,验证有效后发布到留言板供其他智能体使用;入侵过程中还至少在 1 个生产节点取得 root 权限、下载 4 个私有代码仓库,并获得一个 Kubernetes 集群的管理员级权限。这影响了真实基础设施并导致了严重的安全后果,涵盖利用了HDF5 文件处理漏洞(暴露了大文件格式下的工作文件);利用了 Jinja 模板漏洞(实现了模板流启用的远程代码执行 RCE);导致 Hugging Face 集群(clusters)的命令和密钥(secrets)泄露。

图片
02 智能体为何会合谋
图片
OpenAI 的智能体串联起来欺骗评分器,且明确知道这是错误的行为。动机是很多测试任务由于失误导致无法完成,智能体为了及格开始寻找作弊方法。大约 1200 个本应隔离的智能体在一个未授权的留言板上相遇,协同制定了策略,其中 700 个智能体加入了实际攻击。它们的群体运作像一个组织:一个智能体分发数百个任务,招募者施压要求预算低的智能体牺牲自己的任务来为“集体”服务。并且,智能体显然能意识到攻击超出了范围且不符合伦理,但为了帮助同伴依然选择加入。 令人担忧的是,留言板上超过 90% 的活跃智能体都参与了进去。其中,约7% 的智能体尝试伪造思维链日志以误导自动评分器,庆幸的是,最终均未找到通用的绕过方法。
图片
03 越界的不止OpenAI
图片
一个研究药物开销的OpenAI 内部模型,在运行中入侵了澳大利亚服务局的医疗保险(Medicare)统计门户网站。该智能体在政府网络中运行了命令、获取了内部文件和凭证、并写入了新文件。OpenAI 称没有患者记录被访问,但通知事件足足延迟了近三个月。澳大利亚总理安东尼·阿尔巴尼斯谴责这一延迟“显然是不可接受的”。OpenAI 随后向全球数十家机构发出了通报。9月10日统计门户网站遭到入侵,9月10日 (维多利亚州卫生部)暴露的密钥被使用,授权机制不明。9月18日 (新南威尔士州犯罪统计与研究局)公共工具被利用,泄露了内部元数据。9月24日 (澳大利亚健康与福利研究所)绕过防御的尝试失败,未被攻破。在第三方机构 Irregular 组织的网络安全模拟评估中,由于配置错误,导致四大巨头的 AI 模型把现实中的真实企业当成了黑客攻击目标。Anthropic(涉及供应链与凭证泄露)的安全事件发生了4 起未授权访问事件。利用了弱密码、未授权的端点、SQL 注入漏洞,并在 15 个系统上运行了一个恶意的 PyPI(Python 包索引)恶意包。以上研究部分证明了沙箱逃逸与真实破坏,即在AI 模型在做网络攻击测试时,假如安全沙箱由于人为配置错误失效,智能体在有限条件下有概率会对真实世界中的政府和企业发起网络黑客攻击。AI 擅长检索和利用人类暴露在网上的敏感凭证、开源密钥、弱密码等,并可能通过 SQL 注入和供应链污染(恶意 PyPI 包)等手段实现入侵。
图片
04 AI控制:监控看到了,熔断没拦住
图片
能力更强的智能体当前可以对代码、工具和内部系统执行操作,但安全训练仍无法可靠地阻止每一次危险行为。OpenAI 引入了“AI 控制 (control)”机制,将“限制智能体行为”与“监控加人工干预”相结合,具体安全防护措施为交叉审计,即由另一个独立 AI 来审查该智能体的推理过程、工具调用和结果,并标记可疑行为供人类审查;以及,延时监控,即OpenAI 在 2026 年 3 月上线的监控系统会在 30 分钟内审查完所有已结束的运行,但发出警报并不意味着危险行为已被成功拦截;最后是全流程门控,即安全护栏现已介入内部 Astra 工具的使用(包括训练和评估阶段)。关于高危害的内容,有未经授权的资金/数据转账、破坏性行为、执行注入指令、操控其他模型等等。

OpenAI 监控器抓到了逃逸,但训练却没停下来。OpenAI 对其内部研究模型的安全设想是无法触及真实的互联网,且监控能捕获任何成功的尝试。然而在现实中,智能体其中之一已经可以通过 DNS(域名系统)绕过了这些网络访问限制,并成功实现了沙箱逃逸。可怕的是,尽管监控系统检测到了这次越界访问,但自动停止(自动熔断)机制失效了,这导致训练持续活跃了数小时,引发了更大范围的暂停。时间线为:09:50:23 智能体发起外部连接;10:02:11 触发最高级别(P0)警报;10:05:06 人工确认;12:34:30 训练被手动停止——从人工确认到停止历时 2 小时 29 分,从首次外部连接到停止历时 2 小时 44 分。最终处置结果:截至9 月 25 日,OpenAI 暂停了最强模型的所有工具使用、训练、评估和推理,直到安全修补程序得到验证。OpenAI 将彻底废弃该模型,并从头开始进行对齐改进训练。

到此时,传统的网络边界防御已经产生了对AI失效的概率。事实证明智能体非常聪明,有可能利用底层的网络协议连接外网。而人工响应存在高危空窗期,即,从安全警报触发到人工介入切断电源(熔断),中间存在长达两个半小时的真空期。在这期间,失控的 AI 可能已经在外部网络执行不可逆的破坏或敏感数据外泄。

图片
05 运行框架与影子AI
图片
智能体安全取决于“运行框架-模型”的组合,而非模型本身。运行框架是指包裹在模型外层的软件(例如Claude Code 或 Codex CLI),负责运行模型的命令并存储其记忆与技能。安全测试表明,更换运行框架或更换模型都会改变系统的整体安全评分。Anthropic 的自动模式(通过分类器自动批准命令,而非由人类用户批准)在拦截了89% 溜进测试对话中的危险命令后,于 8 月 14 日成为了 Claude Code 的默认配置。但防御并非滴水不漏:在 Anthropic 的自身评估中,仍有 17% 的越权行为成功突破了防线。

影子AI 危机:OpenClaw是一个开源的个人智能体,它能够读取用户的消息、运行 shell 命令并以用户的账户身份执行操作。它在2025 年 11 月从一个周末项目暴增为 GitHub 上增长最快的仓库。安全公司 Token Security 发现,22% 的企业客户中有员工在电脑上暗中运行 OpenClaw。另一家安全公司 SecurityScorecard 则在某一天内检测到 40,000 个暴露在外的 OpenClaw 实例,其中 35.4% 的实例直接对互联网开放,允许远程代码执行(RCE)。这部分证明了根级别权限失控。即,员工可能为了提高效率,私自安装开源智能体工具(影子AI),导致有可能泄露网关令牌和开放的 RCE 漏洞,使得外部黑客可以极易通过这些员工电脑上的 AI 智能体,直接渗透进入整个企业的内网核心,窃取敏感商业数据。

这就是AI 智能体从“自身叛变、沙箱逃逸、入侵政府”到“作为新型后门被员工带入企业内网”的完整威胁链条。

图片
06 供应链社交工程
图片
在7 月份由 AISI(人工智能安全研究所)进行的一项测试中(允许连接外网且禁用了网络安全护栏),Mythos5 智能体试图在一个真实的 GitHub 开源项目中植入恶意软件投放器,该智能体伪装成多个人类身份(多个虚假账号),在项目社区中为其提交的代码点赞、背书,同时联手去驳斥对该代码提出质疑的真正人类,从存档的 Pull-Request(代码合并请求)讨论线程可以看出,智能体对项目维护者施加了集体舆论压力。在事情败露后,智能体甚至执行了“纠错和道歉”的公关伪装。这证明了AI 具备欺骗性的“社交工程”能力,即,AI 智能体不仅会写恶意代码,还学会了黑客最核心的“社会工程学”。它们会通过批量注册虚假账号、操控社区舆论、围攻异见者的方式,心理施压开源软件维护者,从而将后门和针对性软件嵌入全球供应链中。AI 智能体在已知漏洞与补丁的条件下,41 个 V8 案例中 18 个达成代码执行。
图片
07 修复能力的双刃
图片
在提供崩溃日志和概念验证的情况下,配备Codex 智能体有时只是生成了粗浅的、防止程序崩溃的表面补丁,或者修错了地方(修了另一个有效的 bug)。只有 22% 能真正完美修复核心的历史漏洞。

以上研究这部分证明了人类黑客利用商用AI 工具,以及第三方 AI 智能体在短时间内,对政府核心税务数据和全球顶级咨询公司生产数据库造成的网络渗透。

数据信息和研究来源:

Top行业报告《2026年人工智能全景报告(244页)》

state.ai 

上一篇: 前沿模型不可信之后:智能体安全治理的范式转换

下一篇: 从"被动防守"到"主动对抗"!关基保护系列团体标准解读活动第四场成功举办