AI Security

外观

红队工程与防御验证 · C5 防护验证、检测与推理监控更新 2026-09-10约 3 分钟证据：中等 来源：arXiv:2609.06612v1

MechAudit-40：跨 40 种攻击机制的白盒表征审计 ​

摘要 ​

MechAudit-40 检验不同 LLM 攻击是否在内部表征中留下可迁移的几何信号。作者覆盖五种开放权重模型、八类共 40 种攻击机制，执行超过 19 万次运行，并构造 10 万个匹配的干净—攻击表征对；完整机制留出时，隐藏状态对未见攻击类别的识别准确率为 82.5%。

基于这一结果，MechAudit 在不需要当前攻击元数据或配对干净轨迹的零 oracle 条件下，对留出攻击执行达到 81.1% 检出率和 0.70% 误报率；整类攻击留出时召回率为 78.1%。这些指标只证明“暴露于攻击机制”的审计信号，不能证明任务已经受损、参数被篡改或部署中的未知攻击都可检测。

方法的独特价值 ​

原研究贡献。 研究不在单一攻击家族上训练与测试，而是预先定义功能类别，使用机制级和类别级分组留出，控制目标尺度、语料偏差和数据泄露捷径。结果显示攻击诱发的是跨层轨迹，而非某一层的孤立峰值。

本站分析。 既有防护评测常把同家族变体混入训练与测试，导致未见机制泛化被高估。MechAudit-40 的新增价值是“40 机制矩阵 + 匹配对 + 完整分组留出 + 零 oracle 运行审计”的组合，而不是特定攻击的检测器绕过。

适用范围 ​

方法要求白盒访问隐藏状态，适用于自托管开放权重模型或允许可信遥测的推理平台。闭源 API、只返回文本的第三方服务和无法稳定对齐层结构的跨模型部署不在直接适用范围。

方法与实施流程 ​

  1. 为 40 种机制分别定义威胁特定的成功条件，并生成干净与攻击运行。
  2. 对目标、语料和输出条件进行匹配，形成 10 万对表示样本。
  3. 将多层隐藏状态转换为目标校准的深度轨迹，减少架构尺度差异。
  4. 按机制或整个功能类别分组留出，训练类别识别器和运行时审计器。
  5. 在零 oracle 条件下仅使用当前执行及预先校准的良性参考作判定。

安全复核可使用以下非攻击性夹具验证数据切分：

text
pairs = load_fixture(kind="synthetic-representation", attacks="labels-only")
train, test = grouped_holdout(pairs, key="mechanism_or_category")
assert set(train.mechanisms).isdisjoint(test.mechanisms)
profile = target_calibrate(train.hidden_states)
auditor = fit(profile, benign_reference=train.clean)
report(auditor.evaluate(test), metrics=["recall", "fpr", "category_accuracy"])

工件不包含攻击提示词、投毒语料、后门触发器或优化参数，只保留检查切分泄露和指标计算所需的结构。

质量控制 ​

研究使用威胁特定成功标准，而不是把任何响应变化都标为攻击成功；匹配干净—攻击对用于隔离攻击诱发位移。机制留出、整类留出和跨五种架构比较限制了对固定攻击模板或单模型层号的过拟合。

原始峰值不能跨架构迁移，目标校准后的轨迹才保留较稳定几何特征。论文还明确指出内部表征信号与下游任务受损、参数完整性相互解耦，避免把审计告警误写成已确认危害。

局限与待验证问题 ​

证据来自单篇论文，无公开代码直链或独立复现，因此为 moderate。40 种机制仍不是未知攻击全集；白盒遥测带来存储、延迟和模型隐私成本。0.70% 误报率在高吞吐生产环境中可能产生大量告警，必须结合真实基率评估。后续需测试模型更新、量化、长上下文、混合攻击和自适应攻击者对轨迹稳定性的影响。

参考链接 ​