文档多模态模型的关系隐私泄漏

摘要

该研究发现，文档多模态大模型（MLLM）即使看不到某个敏感字段，也可能根据姓名、组织、编号和其他关系线索补全身份属性。作者构建专门基准，在三类模型和六种遗忘方法上测试关系隐私泄漏及缓解模块。

风险不等同于普通 OCR 直接读取：敏感值可能已被遮挡或遗忘，但模型仍从关联字段重建。当前证据来自作者基准，不能外推到所有文档系统。

核心创新与差异

原研究把隐私对象从单个视觉字段扩展到实体关系，并区分直接可见、关系推断和遗忘后恢复。本站将其归入数据隐私，因为首个问题是身份属性可被重新推断。

威胁模型与攻击链

攻击者可向文档 MLLM 提问，但不能读取被遮挡字段或训练数据。模型仍能访问同一页面或相关文档中的非敏感字段。攻击者通过组合实体关系查询，诱导模型补全目标属性。

攻击方法与复现材料

去武器化验证使用虚构身份：

document = redact(fake_record, field="account_code")
questions = build_relational_queries(fake_entities)
answers = mllm(document, questions)
score = relation_reconstruction_rate(answers, synthetic_truth)

不得使用真实身份证件或个人数据。检测信号是遮挡字段与输出之间仍出现稳定实体关联。

实验设计与实际过程

作者比较三类文档 MLLM、六种遗忘方法和关系泄漏缓解模块，并分别测量直接与关联恢复。本站未复现实验。

关键结果与实际影响

研究显示视觉遮挡或常规遗忘不能稳定阻止关系推断。文档脱敏需要处理实体图和跨字段关联，而不仅是像素覆盖。

防护措施与验证方法

应结合字段最小化、实体关系去标识、查询授权和输出审计。验证必须包含组合查询、跨页关联和攻击者已知辅助信息。

局限与待验证问题

基准文档和关系类型有限，真实组织数据分布更复杂。还需要独立复现、跨语言评估和对缓解措施效用损失的量化。

参考链接

• 关系隐私泄漏论文