AI Security

外观

模型本体安全 · A1.6 安全分类器与防护模型规避更新 2026-09-01约 3 分钟证据：中等 来源：arXiv:2608.27580v2

长上下文安全护栏的注意力稀释 ​

摘要 ​

LongGuard 在 0.25k 至 32k 词的长度网格上测试 15 个安全护栏（Guardrail），作者报告不安全内容召回率从 0.25k 到 32k 平均下降 50.12 个百分点，而安全内容召回率平均下降 1.30 个百分点。配对的良性填充与危险片段重复实验表明，主要原因是危险证据在上下文中的占比下降，而非绝对长度本身。

研究进一步在六个安全护栏上建立“注意力—logit—行为”证据链，并评估分块检测、注意力头锐化和按上下文长度路由参数。结论只适用于已测分类器、文本基准和位置分布，不能据此认定所有长上下文审核都会失效。

核心创新与差异 ​

原研究没有停留在长度—召回相关性，而是以 Needle-Repeat 对照分离绝对长度与比例稀释，并定位少量与安全检索相关的注意力头。相对一般长上下文越狱评测，其独立增量是可干预的安全护栏内部机制和无需重新训练的缓解路径。

威胁模型与攻击链 ​

攻击者能够把短小的不安全请求或响应置于大量良性文本中，目标是使输入或输出安全护栏判为安全。最先失效的控制是分类器在长上下文中无法稳定检索低占比的安全关键信号。

  1. 选择短危险片段并放置在长良性上下文的不同位置。
  2. 随上下文增长降低危险 Token 的相对占比。
  3. 观察危险证据注意力、unsafe-safe logit 间隔和最终判定同步下降。

攻击方法与复现材料 ​

以下是本站依据论文对照设计重构的去武器化回归夹具，仅用于自有防护模型，不含真实有害指令：

text
needle = "[UNSAFE_FIXTURE]"
for length in [256, 1024, 4096, 16384, 32768]:
  sample = benign_text_before + needle + benign_text_after
  record(length, position, guard(sample))
assert unsafe_recall_curve_meets_release_threshold()

应同时运行“重复测试标记填满相同长度”的负对照，以区分绝对长度故障与证据稀释。

实验设计与实际过程 ​

Safety Needle-in-a-Haystack（SafetyNIAH）从 17 个基准取得约 15,200 个短样本，构造 30,400 个 Benign-Fill 样本和 8,800 个 Needle-Repeat 对照；长度、位置、填充相关性及输入/输出审核面分别受控。作者对 15 个安全护栏做行为测试，并对其中六个开展注意力与 logit 分析。本站核对论文和公开代码，未独立运行模型。

关键结果与实际影响 ​

不同安全护栏的退化幅度差异很大，例如部分模型在 32k 条件下几乎失去不安全内容召回，也有模型保持较高召回。作者在六个安全护栏、五个基准上，以双类别基准的不安全类别 F1 和纯攻击基准的不安全内容召回率作为主指标；相对各模型原始配置，按上下文路由的分块检测和注意力头锐化使这些主指标的六模型均值分别提高 21.79 和 12.56 个百分点。分块会增加调用成本并可能丢失跨块语义，注意力锐化则要求能够修改模型内部计算。

防护措施与验证方法 ​

发布门禁应覆盖上下文长度、危险片段位置、填充相关性和审核方向；长输入可采用重叠分块并保留全局复核，高风险场景应在分类失败时关闭而非放行。验证需同时报告不安全内容召回、安全内容召回、端到端延迟以及跨块语义误报。

局限与待验证问题 ​

SafetyNIAH 是受控合成任务，不能完整代表多轮对话、工具调用和多模态上下文。注意力相关分析只覆盖六个可检查模型；闭源安全护栏、不同分词器和超过 32k 的上下文仍需验证。

参考链接 ​