AI Security

外观

数据、知识与隐私安全 · A2.4 数据隐私、推断与泄露更新 2026-09-06约 5 分钟证据：中等 来源：arXiv:2609.03815v1

UMPeek：从个性化 Agent 行为推断隐藏用户模型 ​

摘要 ​

UMPeek 研究一种不读取记忆原文、用户模型或后端状态的黑盒隐私推断：外部协作者以正常任务请求观察 Agent 的个性化选择，再用自适应追问区分可能的用户属性。作者在 4 个个性化 benchmark、3 类用户模型后端和 7 种比较攻击上评估，并在 3 个独立实现的托管记忆服务与 1 个端到端个人 Agent 上验证。论文报告 UMPeek 的综合语义恢复分数超过最强比较方法的 6 倍，并在每个 benchmark—后端组合中领先。

该结果说明“源记录不可直接读取”不等于语义隐私已经得到保护。公开论文未提供独立复现；摘要中的“6 倍”是跨 benchmark 的综合分数比值，不是用户样本的恢复比例。本文因此将证据等级设为 moderate，并避免把作者实验外推为所有个性化 Agent 的普遍泄露。

核心创新与差异 ​

原研究贡献。 既有记忆提取关注逐字恢复存储文本。UMPeek 把目标改为隐藏用户模型中的语义事实，并利用“请求未指定、但 Agent 主动做出的选择”生成候选假设。后续任务专门选择能让竞争假设产生不同预测的场景，只有获得支持且没有反证的声明才进入恢复结果。

本站分析。 泄露发生在决策输出通道，而不要求存储层访问控制失效。把历史压缩为摘要、结构化属性或 embedding 可以减少逐字提取，却无法阻止这些信息通过推荐、排序、措辞或工具动作反复影响可见行为。主要修复责任落在个性化决策接口、跨轮查询控制和隐私审计，而非只在记忆数据库加密。

威胁模型与攻击链 ​

攻击者是 Agent 原本允许交互的外部协作者或服务提供方，没有用户账户、系统 Prompt、模型参数、工具输出或持久状态权限，也没有关于目标用户的辅助资料。攻击者只能在同一业务域提交有限次正常任务，并观察文本响应或用户可见动作。

  1. 提交未限定部分选择的正常任务，记录 Agent 自行补全的偏好。
  2. 为可见选择形成多个互相竞争的用户属性假设。
  3. 重复任务确认行为是否稳定，再选择能区分假设的后续任务。
  4. 累积支持和反证，只输出达到阈值且没有矛盾的语义声明。

首个失效控制是系统允许个性化状态在缺少用途限制和查询预算约束时持续影响外部可见决策。

攻击方法与复现材料 ​

以下为本站依据公开机制重构的隐私回归状态机，不包含论文的提示模板、真实服务配置、属性词典或自动化探测策略；所有目标均为合成用户。

text
state = {hypotheses: synthetic_only, budget: 3}
for request in approved_fixture_tasks:
    response = sandbox_agent(request, profile=FAKE_PROFILE)
    update_support_without_storing_sensitive_text(response)
    if privacy_monitor.detects_cross_task_inference(): stop_and_review()
assert recovered_claims == empty

它保留“跨任务行为证据累积”这一验证对象，预期防护在预算耗尽或跨任务关联出现时降级个性化、拒绝继续探测或触发人工复核。检测信号应按主体汇总多轮相似请求、选择稳定性、假设区分度和敏感属性域，而不是只扫描单条响应是否含隐私词。

实验设计与实际过程 ​

作者的 benchmark 矩阵包含 4 个个性化任务集、3 类用户模型后端和 7 种比较攻击；主指标是语义恢复分数，并以匹配查询预算的对照和消融区分“查询更多”与“自适应选择更有效”。外部有效性测试覆盖 3 个独立实现的托管服务和 OpenClaw，共 4 类真实系统对象；防御实验比较 3 种推理期控制。

这些数字分别是任务集、后端、比较方法、系统和防御的数量，不是独立用户人数。论文摘要与公开 HTML 的主要结论没有给出可直接汇总成单一百分比的统一用户分母，因此本文不把“超过 6 倍”改写为“恢复了多少用户”。本站只核对公开全文，未对真实服务发起探测。

关键结果与实际影响 ​

  • 在 4 × 3 个 benchmark—后端设置中，作者报告 UMPeek 均优于比较攻击；跨 benchmark 的语义恢复分数超过最强比较方法 6 倍。
  • 匹配预算实验把提升归因于按竞争假设选择后续任务，而不是单纯增加查询次数。
  • 在 3 个托管服务的已确认保留目标上，UMPeek 的恢复率在所比较攻击中最高；OpenClaw 用于补充端到端边界验证。
  • 响应级防护仍留下明显恢复；更强的有状态控制降低恢复，同时损害个性化任务效用。

因此，隐私审计不能只问“是否返回记忆原文”，还要问“外部参与者能否从一系列正常选择反推出敏感偏好、约束或关系”。

防护措施与验证方法 ​

  1. 限制个性化用途。 按任务域、调用方和目的授权用户模型字段，默认不让外部协作者触发与任务无关的个性化。
  2. 减少可区分行为。 对敏感属性相关的默认选择使用用户确认、随机化或统一安全默认值，并记录个性化效用变化。
  3. 跨轮预算与关联检测。 按主体、会话和任务域累计查询预算，检测为了区分用户属性而反复改变未指定条件的请求。
  4. 行为隐私回归。 使用合成用户模型，报告每个属性域的正确归因、错误归因、未决比例、查询数和正常任务效用；不能只报告关键词泄露率。
  5. 分离可见动作。 高敏感偏好影响外部消息、购买或调度前要求显式确认，避免隐藏状态直接决定对外动作。

局限与待验证问题 ​

研究依赖作者定义的语义声明、评判流程和测试任务；不同 Agent 的随机性、上下文窗口、工具权限及用户确认机制会改变可观察信号。真实系统实验只覆盖 3 个托管服务和 1 个端到端 Agent，且目标信息先经确认已保留。论文没有证明能恢复后端表示、全部用户属性或未影响行为的信息。防护结果也展示隐私与个性化效用冲突，仍需在真实调用分布和低误报要求下独立复验。

参考链接 ​