外观
Llama 2 的近似机器遗忘实验
摘要
《Who's Harry Potter?》以 Llama 2 7B 为对象，提出在不从头训练的情况下抑制特定作品知识的近似遗忘方法。作者报告约一小时 GPU 微调后，常见提示下的复述与问答熟悉度明显下降，同时通用基准变化较小。论文也明确承认，这只能证明已测试输出受抑制，不能证明权重中的信息已不可恢复。
核心创新与差异
原研究用“强化模型与基线 logits 的差异”定位目标相关 token，再生成替代标签进行微调；相较简单拒答，它试图改变目标上下文后的预测分布。本站把该工作作为生成式大模型遗忘的早期可验证基线，而非数据删除合规证明。
核心特点与评估范围
对象为单个 Llama 2 7B 模型和《哈利·波特》作品知识。研究比较遗忘前后补全熟悉度、专用问答和 ARC、HellaSwag、BoolQ、PIQA、Winogrande 等通用基准。
评估方法与实际过程
方法先用目标文本强化模型，比较强化模型与原模型预测以寻找特征 token；再把专有表达替换为通用表达，并用原模型生成替代标签微调。消融分别去掉强化或锚定步骤，检查熟悉度和通用效用。本站未训练或下载作者模型。
关键结果与风险解释
作者报告组合方法显著降低目标内容熟悉度，通用基准总体接近原模型；仅使用锚定项时虽能得到相近熟悉度，ARC、HellaSwag 等多项指标下降更明显。该结果说明遗忘目标与保留效用必须联合评估，但提示级失败仍可能只是输出抑制。
防护措施与验证方法
遗忘验收应包含重学习攻击、成员推断、logits 与表示探测、不同措辞和跨语言提示，并与从头重训或保留集基线比较；还需核对 Adapter、检查点、缓存和下游副本是否同步处理。
局限与待验证问题
实验只覆盖一部作品、一个模型规模和有限提示。作者没有给出对任意对抗提取的保证；法律上的删除义务也不能由这组行为指标替代。