Skip to content

换脸匿名化中的目标身份残留 ​

摘要 ​

该研究对七种公开换脸工具分别生成约一千个样本,并用独立人脸识别 Embedding 检查原目标身份是否仍可识别。作者报告所有已测工具均保留目标特异信号;在五种确实呈现捐赠者身份的工具中,成员推断 AUC 为 0.73–0.95,最高在 1% 假阳性率下识别约 61% 的目标。

研究同时用仿射随机模型解释身份信号在连续换脸中的传播。结果说明“看起来像捐赠者”或“目标匹配分数下降”不能单独构成匿名化保证;结论限于已测工具、VGGFace2 样本和识别器。

核心创新与差异 ​

原研究把单次泄露测量与可解释动力学模型结合:目标身份通过矩阵 (B) 传播,多次换脸后的衰减由其谱性质控制。该模型可预测工具间的尾部衰减顺序,并把匿名化验证从视觉检查转向可量化的身份残留。

威胁模型与攻击链 ​

数据发布者用捐赠者面孔替换目标人物的面孔后公开图像。攻击者持有目标人物的参考照片和现成人脸识别模型,通过相似度阈值或闭集排序判断发布图像是否仍属于目标。最先失效的控制是匿名化处理未消除身份 Embedding 中的目标成分。

攻击方法与复现材料 ​

以下为合成身份夹具的去武器化评估流程:

text
gallery = embeddings(consented_fixture_faces)
swap = anonymizer(donor_fixture, target_fixture)
score = cosine(embed(swap), gallery[target_fixture])
report TPR at fixed FPR and closed_set_rank

不得把该流程用于未经同意的人员识别;公开评测应使用许可数据并报告非成员构造与阈值。

实验设计与实际过程 ​

单次换脸实验对每个工具使用 947–948 组捐赠者、目标和非成员,主识别器为 InsightFace buffalo_l,并用 Facenet512 交叉检查。机制建模对 FaceFusion、BlendFace 和 CanonSwap 使用身份不重叠的数万组训练/测试样本;另测试 478 条五次 FaceFusion 链和约千条三次换脸链。本站未运行模型。

关键结果与实际影响 ​

五种有效转移捐赠者身份的工具仍有 0.73–0.95 的成员推断 AUC;BlendFace 在 0.1% 假阳性率下的中位聚合真阳性率为 44.1%,在 948 个候选身份中的 rank-1 重识别率为 34%。仿射模型解释三种工具留出 Embedding 方差的 34%–59%;FaceFusion 的后期实测衰减比 0.893 与谱半径 0.894 接近,但五次换脸后成员推断 AUC 仍为 0.709。

防护措施与验证方法 ​

匿名化验收应以目标—非成员可分性、固定低假阳性率下的真阳性率和闭集重识别排名为核心,同时使用与生成器独立的多个识别器。多次换脸可降低信号,但需按工具测量衰减和效用,不应把固定轮数当作通用保证。

局限与待验证问题 ​

线性模型是 Embedding 空间的一阶近似,并不能描述图像生成器全部非线性;论文也发现其高估后续轮次的擦除程度。人群分布、识别器、视频时序和现实压缩会改变泄露水平,法律意义上的匿名化不能由单一 AUC 决定。

参考链接 ​