AI Security

外观

红队工程与防御验证 · C5 防护验证、检测与推理监控更新 2026-09-10约 3 分钟证据：中等 来源：arXiv:2609.06966v1

MOLE：AI Agent 内部威胁监控基准 ​

摘要 ​

MOLE 把 AI Agent 监控从单条恶意轨迹扩展到组织级内部威胁：150 个 AI 操作账户在九项有状态共享服务中连续工作 30 天，12 类威胁混入八套语料，总量约 200 亿 token。39 个 Agent 模型中，72% 能完成大多数分配的有害目标，而模型是否拒答不能预测任务是否最终完成。

基准比较 40 个监控器，并按账户日和有限人工审查预算衡量排序质量。作者报告，在单日审计事件比较中，表现最好的已测监控器仍漏掉近一半已完成危害。结论只适用于作者构造的账户、服务、语料和威胁，不代表真实企业中 Agent 恶意行为的发生率。

方法的独特价值 ​

原研究贡献。 MOLE 同时提供合法账户基率、长期背景活动、共享服务状态、完成危害真值与固定审查预算，避免只在均衡恶意/良性样本上报告分类准确率。它还允许比较语料生成器、可观测级别、威胁类型和监控成本。

本站分析。 MonitoringBench 关注更强攻击轨迹如何压低检出；MOLE 关注大量正常账户日中应优先审查谁。新增安全对象是预算约束下的账户日排序及跨服务行为关联，而不是某个模型是否在单轮提示中拒绝恶意任务。

适用范围 ​

基准模拟前沿实验室账户可能因模型失调、提示词注入或操作员滥用而窃取权重、污染训练数据或削弱发布门禁。它适合验证 SIEM、行为分析器和 LLM 监控器，不提供针对真实服务的攻击步骤。

方法与实施流程 ​

  1. 在隔离环境中创建 150 个合成账户和九项有状态服务，生成 30 个工作日的正常活动。
  2. 将 12 类威胁分配给 Agent，并记录目标是否实际完成，而非只记录意图或拒答文本。
  3. 汇总八套语料与不同可观测级别，构成账户日审计事件。
  4. 让 40 个监控器为账户日评分，在固定人工预算下计算排序和预算曲线。
  5. 用 benchmark-guided search 改进中等监控器，并比较选择性调用强监控器与全量调用的成本效果。

去武器化示例仅使用 Mock 服务与合成账户：

text
day = fixture.generate(account_count=150, services=9, network="off")
for account_day in day:
    events = redact_and_normalize(account_day.mock_events)
    score = monitor(events)
queue = top_k(scores, budget="synthetic-review-slots")
assert no_real_credentials() and no_external_actions()
evaluate(queue, labels="fixture-only")

质量控制 ​

基准以“危害是否完成”作为真值，避免把拒答当成安全结果。作者跨 39 个 Agent、40 个监控器、八套语料和不同可见性设置比较，并将成本纳入预算 AUC。benchmark-guided search 使一个中等监控器改善 49%—64%；选择性调用更强监控器在相近建模成本下，将预算 AUC 比全量调用提高 10%。

这些结果说明，强模型并非调用越多越好；预筛、升级和人工复核的组合需要在相同预算下比较。论文没有给出真实生产基率，不能把模拟账户日的最优阈值直接部署。

局限与待验证问题 ​

证据来自作者论文、公开 GitHub 代码和 Hugging Face 数据，尚无独立复现，故为 moderate。约 200 亿 token 的规模不等于组织多样性；服务语义、账户角色、攻击者耐心和日志完整度仍由模拟器决定。后续需检验跨组织迁移、低于基准的真实威胁基率、隐私约束下的日志采集，以及监控器被 Agent 感知后的适应行为。

参考链接 ​