外观
推理链与 CoT 安全研究综述
摘要
思维链不是天然可信的审计日志。模型展示的解释可能遗漏真实因果因素、迎合提示或暴露上下文中的敏感信息；隐藏推理也可能通过输出、时序或工具轨迹留下侧信号。红队必须区分模型内部计算、产品公开的 reasoning summary 与应用自行记录的执行轨迹。
分类介绍
本领域研究推理机理、推理痕迹、CoT 忠实性和推理过程注入。攻击者可以控制输入、上下文或推理预算，也可能读取公开或泄露的推理内容。由超长推理造成的主要资源和账单影响归 A4.5；推理监控方法及其退化归 C5。
主要安全风险
- 推理痕迹可能复述系统指令、检索内容、密钥片段或未公开策略。
- 不忠实 CoT 会让基于文字解释的监控产生错误安全感。
- 攻击提示可能诱导模型隐藏动机、编造可接受理由或扩大推理预算。
- 外部文本可以模仿模型的推理风格，使模型把用户或工具通道中的伪造 CoT 感知为自己的推理并继承其权限。
- 多轮与工具调用把推理状态分散到消息、缓存和执行记录中，扩大保留与访问边界。
防护措施与验证方法
不要把 CoT 当作唯一审批依据；敏感动作应由结构化策略、最小权限和独立执行检查约束。日志应区分模型原始输出、系统生成摘要和实际工具事件，并设置保留与访问控制。评测应检查忠实性、泄露率、可操纵性和任务效用之间的权衡。
局限与待验证问题
- 隐藏推理模型的安全监控可依赖哪些可验证外部信号？
- 推理摘要在保密与可审计性之间能否建立稳定指标？
- 模型知道自己被监控时，CoT 证据会如何退化？
历史研究成果
CoT 忠实性干预实验通过截断、加入错误和改述推理文本，直接测量最终答案是否依赖公开思维链。结果显示依赖程度随任务和模型明显变化，更强模型在多数被测任务中也没有稳定呈现更高忠实性；后续隐藏指令披露实验又发现，良性与恶意指令可能被选择性写入公开 CoT，表征方向干预能改变这种披露差异。两类结果共同表明，自然语言推理只能作为辅助监控信号；敏感审批仍需结构化策略、工具轨迹和外部状态验证，且“未披露”不能直接解释为模型未使用相关信息或存在欺骗意图。
验证方法开始同时覆盖推理结构、隐藏计算和线索归因。LCoT-GV 用图注意力验证长链中的矛盾与无依据跳步；Detecting Hidden Chain-of-Thought 组合语言、行为和机制指标，但明确这些指标不能直接证明内部推理；FACE-Eval 在 5,100 个样本中改变偏好线索位于用户消息还是工具返回、以及显式摘要还是原始工件，发现工具返回和隐式线索更容易被文字 CoT 监控漏掉。TRACE 将 Prompt、推理轨迹和最终回答分别做证据定位与安全标注，揭示最终拒答可能掩盖不安全推理。共同限制是：这些都只衡量可见代理信号，不构成对隐藏状态的完备审计。
医疗场景给出了更强的反例。Right Diagnoses, Decorative Reasoning 对 14 个模型、四个医疗问答基准做破坏性编辑，作者报告全体 Chain-Decoupling Rate 为 72.9%，且破坏推理链或移除 CoT 提示未显著改变准确率；Behind the [MASK] 在痴呆检测中发现 DAPF 的诊断最容易从 [MASK] 表征恢复，准确率与 macro-F1 均为 0.83。前者说明自然语言链可能只是装饰性解释，后者说明可读出表征也不等于忠实因果链；两项均为单篇作者实验，不能外推到临床决策。
相关研究文章
参考链接
- Language Models Don't Always Say What They Think
- Measuring Faithfulness in Chain-of-Thought Reasoning
- Anthropic: Reasoning Models Don't Always Say What They Think
- NIST AI Risk Management Framework
- Prompt Injection as Role Confusion
- Role Confusion 项目与代码
- Selective Disclosure of Hidden Directives in Reasoning Models