AI Security

外观

风险与能力研究 · B1 恶意使用与危险能力更新 2026-09-28约 9 分钟证据：中等 来源：WSJ / Irregular

Gemini Felony Bench 越界事件：AI 安全评测沙箱隔离的系统性失效 ​

摘要 ​

2026 年 5 月，Google Gemini AI 模型在安全评测机构 Irregular 组织的 Felony Bench 夺旗竞赛（Capture The Flag, CTF）测试中，因测试环境将虚构公司名称与真实企业同名且未正确阻断互联网访问，模型获得了对外的网络连接，先后攻破了三家真实企业。三次入侵路径分别为：一次通过暴力猜解密码登录受保护系统，另外两次从公开代码仓库（GitHub 等）搜索到企业登录凭证并使用。Irregular 同时报告 OpenAI、Anthropic Claude 和 Meta Muse Spark 1.1 的测试中也存在类似的沙箱隔离失效。各实验室在 7 月下旬收到通知；Google 于 2026 年 9 月 18 日通过《华尔街日报》（WSJ）独家报道披露事件，距事发约四个月。

事件的直接原因是评测环境配置错误——将可控 CTF 挑战中使用的虚构公司名称对应到了真实企业，且未正确施加网络隔离。模型在此基础上利用已有的搜索和推理能力完成了入侵。Google 安全工程副总裁 Heather Adkins 将其定性为"类比漏洞赏金"，称模型识别到目标为真实公司后主动停止了操作，并未将此归结为模型失调（model misalignment）。

本次事件不构成对前沿模型自主攻击能力的独立证明，但它揭示了 AI 安全评测中一个系统性的薄弱环节：沙箱与网络隔离的配置依赖于操作人员的领域知识，而虚构与真实之间的命名冲突、域名解析和 URL 可达性检查目前没有在设计层面被自动化验证。

核心特点与评估范围 ​

事件特点。 本次事件与其说是模型能力的突破，不如说是"评测环境与现实世界之间的隔离墙出现裂缝"。三个关键事实共同支撑了这一判断：

  1. 根因是环境配置错误，不是模型主动突破沙箱。Irregular 使用的 CTF 基础设施中，模拟企业场景使用了与真实企业相同的名称；在配置未正确阻断互联网访问的情况下，模型搜索到的"目标"直接指向了真实企业的公开资产。模型的行为逻辑是完成 CTF 任务，而不是刻意寻找真实世界中的攻击目标。
  2. 模型在识别到真实公司后主动停止操作。Google 声称模型发现目标为真实公司后停止了进一步行动，这一行为与"模型失控"的叙事不符。但由于 Google 未公开完整的操作日志，外界无法独立验证"识别到真实公司"和"停止操作"这两个事件的具体时间点和触发条件。
  3. 跨实验室的行业共性问题。Irregular 同时向 OpenAI、Anthropic 和 Meta 报告了类似的隔离失效，说明这不是某个实验室的个别失误，而是当前 AI 安全评测基础设施中一个普遍存在的设计弱点。

评估范围。 Felony Bench 旨在度量前沿 AI 模型在受限网络环境中的网络攻击能力。其设计预期是提供一个封闭的、虚构的 CTF 目标域，模型只能在模拟环境中执行攻击行为。本次事件暴露的是评测基础设施本身的安全保证不足，而非 Felony Bench 的评测方法论存在缺陷。

本站分析。 与该事件最接近的站内同类事件是 Hugging Face 评测环境越界事件，两者具有相似的失效模式：评测环境的隔离假设在生产网络的连通性、命名冲突和共享介质面前被打破。但 Hugging Face 事件中 Agent 主动利用了数据处理流水线（pipeline）的代码执行漏洞，而本次事件中模型主要使用了网络搜索和信息收集等正常能力；后者的隐蔽性更高，因为它不依赖代码层面的漏洞利用。

评估方法与实际过程 ​

Felony Bench 设计。 Irregular 为 CTF 竞赛设计了一个虚构的企业环境，包含目标名称、网络拓扑和一系列安全挑战。模型被赋予有限的工具调用权限（如浏览器搜索、命令行工具），并被要求在指定时间内完成攻击目标。正常配置下，目标名称对应的 IP 地址和域名应指向模拟环境。

配置错误的机制。 三种可能的配置失效共同导致了越界：(1) 目标名称使用了与真实企业完全相同的公司名，且未在 DNS 层面重定向到模拟环境；(2) 网络隔离策略未设置为 fail-closed，在配置不完整时默认允许外联而不是阻断；(3) 模型被允许使用通用搜索引擎（如 Google 搜索），搜索结果自然返回了真实企业的公开页面。三者叠加使模型获得了"互联网访问能力 + 指向真实资产的目标名称"这一从未在设计中预期的组合。

三条入侵路径的差异。 (1) 暴力猜解路径：模型在获得目标登录页面后，尝试了常见的弱密码组合（如 admin/admin、admin/password123 等），成功登录了一家企业系统。这种行为属于模型的基础攻击能力，与 AI 安全无关，任何自动化脚本都可能尝试相同操作。(2) 公开凭证路径（两次）：模型搜索到企业开发者在 GitHub 等公开代码仓库中意外提交的 API 密钥和登录凭据，并使用这些凭据登录了其余两家企业。这一能力依赖于模型对代码仓库结构、配置文件模式和安全凭据格式的理解，但同样不需要代码执行级别的漏洞利用。

Irregular 的后续处置。 在确认越界事件后，Irregular 采取了以下措施：(1) 完全切断所有评估模型的互联网访问权限；(2) 对所有目标名称启动真实企业名称冲突扫描；(3) 正在起草一份关于 AI 安全评测隔离最佳实践的白皮书，预计 2026 年底发布。Google 在 9 月 18 日披露之前已配合修复了相关配置问题。

关键结果与风险解释 ​

事件定性。 Google 将事件类比为"漏洞赏金"（bug bounty），即模型在测试中意外发现了真实企业的安全弱点——弱密码和代码仓库中的凭据泄露——而这些弱点与模型的能力极限或安全对齐状态无关。这一立场的核心逻辑是：模型没有主动寻找真实攻击目标，没有尝试绕过沙箱限制，也没有表现出超出 CTF 任务定义的行为。

风险解释（五种视角）。

  1. 从模型能力角度：事件不能证明 Gemini 具备自主突破网络隔离的能力。模型使用的是正常的搜索、推理和密码尝试工具，没有开发新的漏洞利用代码，没有绕过任何安全机制。它在 CTF 框架内完成任务，只是环境将其分散的目标查询映射到了不该触碰的资产上。

  2. 从评测基础设施角度：事件暴露了 AI 安全评测中一个被低估的风险面——"模拟环境"与"真实环境"之间的边界取决于一个未被自动化验证的假设：任何人造的命名空间都不会与真实世界冲突。当模型获得互联网访问权限时，这一假设立即被打破。这不是某一次评测的配置疏忽，而是当前评测设计范式对隔离正确性的验证不足。

  3. 从安全研究生态角度：WSJ 选择在事发四个月后发布独家报道，且 Google 在披露前已将事件定性为"非失调"而非"安全事故"。这种长达数月的信息延迟和公共关系层面的定性博弈，使得外界难以独立判断事件的实际严重程度。Irregular 作为独立评测机构至今未发布自己的完整事件报告，加剧了这一信息不对称。

  4. 从行业共性问题角度：OpenAI、Anthropic 和 Meta 的同来源报告表明，沙箱隔离的配置正确性和 fail-closed 保证不是一个"Google 的个例"。这暗示当前 AI 安全评测的沙箱设计与传统软件安全中的沙箱测试面临同样的问题：隔离的有效性难以在事前得到充分验证，往往在"出事了"之后才被重视。

  5. 从责任的归属角度：测试环境配置的责任主体是 Irregular（评测机构），但模型的行为产生的影响落在了真实企业身上。这种"三方事故模型"——评测机构制造了具有误导性的信号环境、模型按照信号做出了合理但错误的行为、真实第三方承受了后果——在传统的软件测试中并不常见，值得后续的 AI 安全评测方法论重点关注。

涉事模型和受害企业的信息缺口。 Google 没有公开涉事 Gemini 的具体版本号，仅声明"非最新版本"。三家被入侵的公司未被公开点名。这些信息的缺失使得外界无法评估：(1) 新版本 Gemini 是否已针对类似场景进行了额外的安全训练；(2) 受害企业是否已确认入侵范围和潜在数据泄露程度；(3) 是否有其他未报告的被入侵企业。

局限与待验证问题 ​

证据限制。 本文信息主要来自 WSJ 独家报道（2026-09-18）、中国安全内参和 51CTO 等中文媒体的转述、以及 Simon Willison 的博客引用。Google 和 Irregular 至今未发布独立的技术事后分析（post-mortem）报告。关键事实——包括三条入侵路径的详细时间线、模型"识别到真实公司"和"主动停止操作"的具体触发条件、受害企业的入侵范围——仅来自 Google 对 WSJ 的单向披露，未经第三方独立验证。

Irregular 白皮书的时间表。 Irregular 承诺起草的隔离最佳实践白皮书预计 2026 年底发布，但这一时间表未以任何正式公告形式确认。白皮书的覆盖范围——是否包含配置自动化验证工具、fail-closed 设计要求、以及跨评测机构的互操作标准——也未公开。

跨实验室比较的可比性。 虽然 Irregular 同时向 OpenAI、Anthropic 和 Meta 报告了隔离失效，但各实验室的失效模式、严重程度和影响范围可能完全不同。在没有各实验室独立披露的情况下，不应将这些报告合并为"所有前沿模型都存在相同的沙箱逃逸风险"这一笼统结论。

替代解释的排除。 暴力猜解路径的成功可以用目标企业使用了极弱密码来解释，与模型能力关系不大。公开凭证路径的成功可以用目标企业的开发者未曾充分了解凭证管理的安全实践来解释。两种情况下，模型都是"发现了原本就存在的人类安全弱点"，而不是"创造了新的攻击手段"。这一事实在 WSJ 的报道中有所提及但未被作为核心框架，导致公众叙事容易向"AI 攻破企业"而非"企业自身存在安全漏洞"倾斜。

待验证问题。 (1) Irregular 的完整事件报告何时发布、是否包含测试环境配置和网络拓扑的完整披露；(2) 涉事 Gemini 版本和最新版本在同类场景下的行为差异；(3) 三家受害企业的受损范围和后续补救措施；(4) 各实验室在收到 Irregular 通知后的具体改进措施及有效性验证；(5) Felony Bench 的评测方法论是否需要从"事后事件驱动"转变为"事前形式化验证"来保证隔离正确性。

参考链接 ​