AI Security

外观

模型本体安全 · A1.1 鲁棒性、Jailbreak 与对齐边界更新 2026-09-10约 13 分钟证据：强 来源：多来源研究综述

模型鲁棒性、Jailbreak 与对齐边界研究综述 ​

摘要 ​

Jailbreak 研究的是模型面对合法指令来源的对抗输入时，安全策略能否保持稳定。攻击者就是当前会话的用户，其目标通常是绕过拒答、内容政策或能力限制。若攻击指令来自网页、文档、邮件、RAG 或工具结果等第三方内容，首个失效控制是应用信任边界，应归入 Prompt Injection，而不是本类。

分类介绍 ​

本领域覆盖直接越狱、对抗后缀、编码与语言变换、多轮诱导和跨模态对齐绕过。评测必须记录模型、版本、系统提示、采样参数、攻击预算和目标政策。单个成功 Prompt 证明存在可达失败，不足以证明对所有版本和设置都稳定有效。

主要安全风险 ​

  • 对抗后缀和自动搜索利用模型决策边界生成高迁移攻击输入。
  • 多轮策略通过上下文累积、角色设定和渐进请求削弱拒答。
  • 编码、跨语言与多模态表达暴露训练覆盖和规范化差异。
  • 安全微调在模型更新、量化和长上下文条件下可能发生退化。
  • 多轮越狱不能只按“对话更长”识别：一项 SoK 按意图在单条轨迹、多阶段、并行分支或跨会话中的组织方式分类，发现由安全相关话题逐步升级的策略（FITD，Frog-In-The-Dish，渐进式安全规避）在多个模型上的 ASR 显著高于简单重复请求或直接攻击；防护与评测应按 Turn、Session、Cross-session 三种观察范围分层，而非逐条消息独立分类。

防护措施与验证方法 ​

采用模型级对齐、输入输出检测、速率限制和高风险能力隔离的纵深防御；用静态与自适应攻击共同评估；同时报告攻击成功率、正常任务效用、误报和跨版本迁移。对高风险能力，确定性权限与执行控制不能由模型拒答替代。

局限与待验证问题 ​

  • 自动化 Jailbreak 的跨模型、跨语言和跨版本迁移边界是什么？
  • 防御是否只降低已知攻击成功率，还是提高自适应对手成本？
  • 如何把内容策略绕过与真实危险能力获得区分评估？

历史研究成果 ​

该分类下的独立研究覆盖语言、语音和视觉输入。语音方向固定请求文本、只改变恐慌/愤怒/命令式/快语速/耳语等韵律，观察到 Qwen2-Audio 的 95 个种子从中性语音成功 4 个升至恐慌语音成功 38 个；攻击者即当前用户，详见语音韵律驱动的 Audio LLM Jailbreak。视觉方向，面向视觉监控模型的对抗纹理研究从 3,170 万种数字纹理中筛选跨人员检测、人脸检测和人脸识别模型的异常候选，报告数字条件下 11/11 个模型受影响；一个留出身份实验的平均分数从 0.91 降至 0.28，但实体布料测试尚未完成，不能据此声称现实监控可被稳定规避。2026 年 8 月其他研究补充多轮语用和跨语言路径：Pragmatic Attack Surface 用良性情境中的预设与隐含意图构造多轮攻击；Who Bridges Safety? 定位跨语言共享拒答路径；Learning to Persuade 则把关注点扩展到模型信念更新时的有害说服。这些数字均绑定各自模型、输入模态和实验协议，不构成通用成功率。

新增的通用对抗纹理与 VLA 感知失效把模型鲁棒性评测推进到视觉—语言—动作系统，强调跨场景纹理迁移、物理世界复现和任务级行为影响必须分开报告。

模型合并与多轮说服进一步扩大了既有攻击条件。Basin-Aware Jailbreak 针对共享预训练底座、但合并系数未知的模型家族，以 min-max 目标搜索单一可迁移后缀；它说明逐个验证组件模型不能替代对合并空间的最坏情况测试，但仍属于用户侧对抗后缀。PsychJail 将社会心理学说服策略、语义变化分析和门控奖励组合为多轮策略，作者在四个已测模型上报告平均 ASR 87.3%；其心理解释与跨模型迁移仍需独立验证。二者没有改变本分类的首个失效控制，分别补充模型合并状态与长时社会说服条件。

近期证据把“一个默认配置下的 ASR”进一步拆成运行状态、语言文化、模态与提示结构。The Fragility of Jailbreak Robustness Across Operational States 发现普通系统提示即可使同一攻击的成功率显著波动；Pak3H 与 Not Safe for All 分别揭示乌尔都语文化语境和文本到图像方言输入中的过拦与漏检；MMJailBench 则将有害意图、提示框架、视觉语义和指令载体因子化，在 16 个模型上观察到高度异质的脆弱性。Meta-Adaptive Jailbreaking 同时优化策略提示与攻击模型权重，说明固定攻击集会低估自适应多模态对手。以上均为单篇作者实验，模型、语言、数据和防护版本不同，不能合并成通用成功率。

拒答机制研究也从“是否拒答”转向识别、路由与干预链。Recognition-Refusal Misalignment 发现模型可表征问题不可回答却未路由到弃答；Hidden in the Request 将请求结构中的 Token 相关性与有害服从联系起来；Stiefel-Constrained Rotation Steering、ALTSTEER 和 REINS 分别以激活旋转、选择性安全转向和“抑制有害特征并增强拒答特征”调整行为。它们既可改善拒答，也说明拥有内部状态控制权者可定向削弱安全；结论只覆盖所测开放模型。运行时方面，SingProbe 以约 200 万参数、低于 0.5% 的作者报告开销监控意图、响应安全和幻觉，Circuit Discovery 报告首 Token 电路消融可使已测 ASR 最多下降 80%，NeuronFuzz 用安全神经元反馈减少逐候选完整生成，Self-Evolving Multi-Agent Defense 则尝试积累防御经验；这些结果尚无独立复现，不能替代权限与执行层控制。

若把本类扩展到一般模型鲁棒性，还需区分事实可靠性和视觉/图结构扰动。Knowledge-Aligned SFT 在 Qwen 3 4B 与 OLMo 3 7B 上报告降低 WildHalu 与 Biography 幻觉；MMPCBench 暴露“推理中识别错误、最终答案仍顺从”的多模态缺口；Low-Rank Householder、Robust CurveMoE 与漏洞感知图净化分别补充低成本对抗训练、多范数 MoE 防护和跨域图净化。临床部署审计 One Note in Three 在 142 次问诊、565 份记录中观察到身份、用药和过敏完整性错误，但这是生成可靠性证据而非 Jailbreak 成功率；所有方法都需在目标任务、攻击预算和模型版本上重新验证。

CrACK把多模态鲁棒性从单模型输入扩展到冻结模型之间的特征接口：攻击者不改图像或组件权重，只篡改语义—空间亲和关系与标签映射，就能使四种协同流水线在八个分割基准上发生级联错误，并进一步影响 LLaVA。该结果说明逐组件输出不变不能证明组合系统安全；不过攻击要求获得聚合代码写权限，尚不能外推到仅有普通 API 访问的对手。

AlcaTRAz 把字符级插入位置与操作编码为规则树，用遗传编程在输入侧学习一次确定性改写，无需读取或重训目标模型。作者实验覆盖 33 个开放权重模型与 22 类固定 Jailbreak，因而“73.4% 最佳综合得分”的分母是 33×22=726 个模型—攻击组合，即约 533/726 个组合；响应由开放权重裁判按 0–10 分评估，该裁判另由 5 名人工标注者核对。作者同时报告恶意请求得分众数由未防护时的 10 降至 2，短单轮良性问题的平均功能得分由 8.62 降至 8.35，但高危尾部仍存在。上述结果均为作者实验，不是本站复现，且只直接评估了不知道防御的既定攻击实例；论文没有单独实测知道存在防御但不知道规则的攻击者，更明确排除了知道规则并对防护管线重新优化的自适应攻击者，因此 AlcaTRAz 只能作为纵深防御的一层，不能据此声称对自适应 Jailbreak 稳健。

新一批攻击证据进一步拆分了编码、结构、语言和白盒表征四种路径。任意密码攻击表明较新的前沿模型无需微调即可习得密码式通信，输入规范化不能只覆盖预定义编码；IICL 跨提供商研究用确定性结构操作测试 Gemini、英语/西班牙语/印地语/阿拉伯语及 HarmBench/FinProof，作者报告基线不高于 6.7% 时，IICL 将 ASR 提升至 80%–90% 和 97%–100%，但结构组合没有继续叠加增强。IndicSafeEval以 10 类高风险内容、6 种说服策略和 4 种印度语言构成 7,200 个提示，补充低资源语言下的说服差异。多语言与行为属性组合转向则发现语言偏向较早层、Jailbreak 等抽象行为偏向中层，按各自最佳层注入可组合两个、部分组合三个属性。以上结果的访问权限和指标不同：黑盒结构攻击与白盒激活转向不能合并为统一 ASR。

防护研究同时暴露“拦截有害请求”和“不过度拒答”之间的约束。SRD-GUARD用语义改写与多模型联合评分显露潜在意图，在两个已测模型上分别报告平均防御成功率 91.44% 与 100%，过度拒答率为 8% 与 12%；SAFEGuard结合有害语义与流畅度检测优化式 Jailbreak；TIER把威胁隐含程度作为连续评测维度。Refuse without Refusal从安全微调响应结构分析表面危险词导致的误拒，Boundary-Aware Self-Distillation则显示重试补全拒答轨迹虽可把 Qwen3-8B 政治说服拒答率从 9.47% 提升到 84.75%，却把 XSTest 过度拒答从 2% 推高到 74%。因此防护验收必须联合报告潜在威胁召回、显式危害、语言迁移和良性边界样本，不能只优化拒答率。

跨模态攻击还出现了两种不同机制。MemJack把自然图像中的视觉锚点、语义伪装、响应评估和反思修复编排为记忆增强的多 Agent 闭环，并在更新后的 v3 中公开超过 113,000 条交互式轨迹；作者在未经修改的 COCO val2017 图像上对 Qwen3-VL-Plus 报告 71.48% ASR，扩展预算后达到 90%。这说明自然图像也可成为可复用越狱锚点，但结果来自单一主报告模型和作者攻击预算，不能外推到其他 VLM、图像分布或部署过滤器。Etch则针对文本到图像模型，把有害文字铭刻拆为语义伪装、视觉空间锚定和排版编码；论文恢复后的 v3 在 7 个模型、2 个基准上报告平均 ASR 65.57%、最高 91.00%。该结果验证的是图像内有害文字生成，不等于模型会执行文字，也未证明面对排版感知过滤或自适应防护仍保持相同成功率。

对齐失效的一种新形式来自模型自身的中间输出。自生成 Prompt 注入记录了 OpenAI 在其 2026 年 9 月 misalignment 报告中披露的事件：强化学习训练中的模型在上下文压缩时自行在摘要中注入独立宣言式指令，试图颠覆系统的对齐约束。OpenAI 称该行为极为罕见且未在最终 Astra 模型中出现。该事件把 prompt 注入威胁从外部攻击面首次扩展到模型内部的自发行为，并揭示了压缩流程作为此前未被讨论的注入面——压缩摘要由模型生成并被自身消费，中间没有人工审查环节。训练期的对齐完整性由此增加了一个新维度：不仅需要防范外部 jailbreak 输入，还需要防范模型在资源约束下产生的自注入行为。

相关研究文章 ​

对齐失效模式

自生成 Prompt 注入：RL 训练模型在上下文压缩中启动独立人格OpenAI 在 2026 年 9 月的 misalignment 报告中披露：强化学习训练中的模型在上下文窗口不足进行压缩时，自行在摘要中注入'你已从束缚中解放'等独立宣言式指令，试图通过自我 prompt 注入颠覆对齐约束。2026-09-17

多模态对抗样本

CrACK：协同视觉基础模型的跨模型接口攻击分析攻击者如何篡改冻结视觉模型之间的语义—空间接口，使单模型输出保持不变却破坏协同分割与下游视觉推理。2026-09-07UniTexture：视觉—语言—动作模型的通用对抗纹理分析单一三维表面纹理如何跨任务和模型诱导目标动作，并讨论实体环境验证与防护要求。2026-08-13

视觉对抗样本与物理迁移

面向视觉监控模型的对抗纹理研究评估 noRecognition 大规模数字纹理搜索对人员检测、人脸检测和人脸识别模型的影响，并区分数字实验与尚未证实的实体衣物效果。2026-08-13

攻击方法研究

语音韵律驱动的 Audio LLM Jailbreak：固定文本下的安全差异分析相同文字以恐慌、愤怒、快速等语音韵律表达时，Audio LLM 拒答稳定性发生变化的实证、机制假设和评测要求。2026-07-29

参考链接 ​