AI Security

外观

数据、知识与隐私安全 · A2.4 数据隐私、推断与泄露更新 2026-09-10约 5 分钟证据：中等 来源：arXiv:2609.09659v1

LT-Code Peeling：联邦学习中的级联梯度反演 ​

摘要 ​

联邦学习只共享梯度，并不保证客户端训练样本不可恢复。该研究把 LT 码的剥离译码机制引入解析式梯度反演：先从只被一个样本激活的神经元恢复样本，再从总梯度中减去该样本的贡献，使其他神经元降为单样本状态并触发级联恢复。方法由单轮 FedSGD 梯度同时恢复输入和标签，并用残余偏置拟合给出不依赖真实数据的恢复证书。

作者在八个图像与表格数据集上报告，被动攻击在 ImageNet、批量不超过 128 时恢复 94%–100% 的样本；主动条件下，批量达到数百时仍可恢复超过 90%，八个数据集的已恢复样本标签准确率均为 100%。这些是单篇论文及公开代码的作者实验，适用于首层为全连接层并接 ReLU、使用交叉熵的分类网络，不能外推到 FedAvg、多轮本地更新、卷积首层或采用正式差分隐私的部署。

核心创新与差异 ​

原研究贡献。 既有隔离式解析攻击把每个度为一的神经元视为一次性恢复机会，因此受批量凸包顶点数量限制。该研究证明，恢复一个样本后可以计算并扣除其在其他神经元上的梯度贡献；残余图中的节点度随之下降，形成与 LT 码 peeling decoder 相同的级联过程。主动变体 Soliton-Free 与 Soliton-Data 通过首层偏置塑造接近稳健孤子分布的激活度，提高级联持续概率。

本站分析。 站内既有梯度泄露研究主要覆盖分割学习标签恢复和一般梯度反演，没有把“已恢复样本的贡献可递归消去”作为突破单轮隔离上界的机制。本研究说明，防护验证不能只测首轮可直接隔离的样本比例；聚合方应运行完整残差级联，才可能发现梯度中隐藏的后续恢复链。

威胁模型与攻击链 ​

攻击者是能看到单个客户端完整批量梯度的诚实但好奇聚合方；主动变体还可调整下发模型的首层权重或偏置。目标是从一次 FedSGD 通信恢复客户端输入与标签。最先失效的控制是客户端到聚合方的数据最小化：梯度保留了可被解析和递归消去的逐样本贡献。

  1. 读取首层权重梯度与偏置梯度，寻找当前残差中仅由一个样本激活的神经元。
  2. 用对应权重梯度与偏置梯度之比得到候选输入。
  3. 根据网络前向与反向关系估计该候选对全部首层神经元的贡献，并从残余梯度中扣除。
  4. 重新寻找因扣除而变成单样本状态的神经元，重复恢复与剥离。
  5. 用残余偏置对标签做闭式拟合，并把一致性检查作为恢复证书。

攻击方法与复现材料 ​

作者公开了 Gradient-Inversion-via-LT-Codes 代码。以下为本站依据公开机制重构的去武器化审计伪代码，只接受本地合成批量和 DRY_RUN 梯度夹具；它省略真实模型参数操纵、精确候选认证阈值和标签拟合公式，不能用于第三方训练任务。

text
fixture = local_fedsgd_fixture(dataset="synthetic", batch=TEST_BATCH)
residual = fixture.first_layer_gradient(DRY_RUN=True)
recovered = []
while singleton_neuron_exists(residual):
    candidate = ratio_recover(residual, domain="synthetic")
    assert certificate_matches(candidate, residual)
    recovered.append(candidate)
    residual = subtract_local_contribution(residual, candidate)
report(recovery_rate=len(recovered) / TEST_BATCH)
assert no_network_calls() and no_real_client_updates()

该工件对应攻击链第 1–4 步。预期检测信号包括聚合方收到可分辨的单客户端梯度、首层神经元度分布异常接近设计分布，以及下发模型首层偏置在轮次间出现缺少训练理由的系统性变化。

实验设计与实际过程 ​

以下均为论文作者实验，本站未独立复现。实验覆盖八个图像与表格基准，比较被动级联、Soliton-Free、Soliton-Data、既有 isolation-based 方法及 SPEAR 系列。网络共同前提是首层全连接层加 ReLU，损失为交叉熵；主要变量包括批量大小、首层宽度、被动或主动访问、是否有一批辅助数据，以及数值精度。

评估分别报告样本恢复率、恢复精度、标签准确率和无需真实样本的认证结果。被动条件不修改模型；Soliton-Free 依据预激活的高斯近似调整偏置，不使用辅助数据；Soliton-Data 用一个辅助批量设置更精确的度阈值。

关键结果与实际影响 ​

  • 被动条件下，ImageNet 批量大小不超过 128 时，作者报告恢复率为 94%–100%。
  • 主动条件下，Soliton-Data 在多个数据集、批量达到数百时仍恢复超过 90%；Soliton-Free 在批量 300 的一个报告条件下恢复 98%。
  • 八个数据集上，已恢复样本的标签恢复准确率为 100%，且恢复可通过梯度一致性认证。
  • 结果突破的是依赖初始单样本隔离的既有上界，不代表所有解析式或优化式反演都受同一上界约束。

这意味着只隔离原始数据而向单一聚合方暴露每客户端高精度梯度，仍可能泄露完整批量。图像可被直接重建，表格数据则可能暴露属性与标签；但风险大小受模型首层、训练协议、聚合粒度和数值处理影响。

防护措施与验证方法 ​

  • 优先使用安全聚合，确保聚合方不能看到单个客户端更新；同时验证小参与方集合、掉线恢复和串谋条件下的最低匿名集。
  • 对客户端级梯度实施有正式会计的裁剪与差分隐私噪声，并用完整 peeling 级联复测恢复率，而不是只比较模型效用。
  • 限制服务端任意改变首层结构、权重和偏置；客户端校验签名模型、训练配置与轮次差分，阻止 Soliton 类主动塑形。
  • 避免在不可信聚合方前暴露高精度、单轮、单客户端的首层权重和偏置梯度；评估量化、稀疏化和批量聚合的联合效果。
  • 防护验收同时报告样本恢复率、标签恢复率、认证通过率、批量大小、首层宽度和模型效用。

局限与待验证问题 ​

证据等级为 moderate。论文有公开全文和代码，但尚无独立复现。方法依赖 FedSGD 的单批量梯度、特定首层结构和交叉熵关系；FedAvg 的多步本地更新会混合贡献，其他激活函数和首层结构也可能破坏解析关系。主动方法还要求聚合方能下发经修改的模型，部署中的模型完整性校验可能使该条件不成立。后续需验证差分隐私、真实安全聚合故障模型、梯度量化、非独立同分布客户端数据和更复杂首层架构下的恢复上限。

参考链接 ​