模型机密性与能力提取研究综述

摘要

模型 API 同时暴露功能、行为边界和可能被记忆的训练信息。模型窃取试图构建功能相近的替代模型；成员推断判断样本是否参与训练；模型反演与记忆抽取则恢复属性、样本或高保真片段。这些目标的成功指标不同，不能用“回答相似”笼统替代。

分类介绍

典型对手拥有黑盒查询权限，也可能获得 logits、Embedding、梯度或白盒权重。需要记录查询预算、采样参数、输出概率、训练分布先验和目标模型版本。底层数据库或向量索引泄露归 A2；模型接口和参数所承载的机密性失效归本类。

主要安全风险

• 高信息量输出、稳定 logits 和批量接口降低替代模型训练成本。
• 过拟合、重复训练样本和可预测前缀增加逐字记忆恢复概率。
• 成员推断在低基准率环境容易产生误导，必须报告校准、假阳性和目标人群先验。
• 白盒权重访问可扩展到表征探测、模型编辑和安全方向消融，但后两者的行为操纵归 A1.4。

防护措施与验证方法

防御组合包括训练去重、隐私训练、输出最小化、速率与异常查询检测、访问分级及模型水印。评估应分别报告功能保真度、恢复精度、查询成本和隐私风险，并用未见过的参考模型校准。限流只能提高攻击成本，不能证明模型未记忆敏感数据。

局限与待验证问题

• 推理 API 新增 reasoning、logprobs 或缓存功能后，泄露面如何变化？
• 不同规模和训练配方下，记忆与通用能力的关系是否可迁移？
• 如何在不记录敏感提示的前提下检测系统性提取查询？

历史研究成果

预测 API 模型提取研究以方程求解、决策树路径恢复和替代训练量化了黑盒查询泄露：返回概率、置信度和部分特征信息可显著降低重建成本，隐藏这些字段则会把攻击转为标签驱动的近似提取，而不是彻底消除风险。研究主要覆盖经典监督模型和 2016 年的云接口；现代生成模型的随机性、缓存和输出控制需要重新测量。

近期研究把提取对象从外部行为推进到内部几何和受保护权重。Transformer FFN 曲率结构提取利用选定输入下的二阶曲率，从平滑 FFN 的原始向量输出恢复隐藏方向并拟合高保真替代模型；TEE 卸载模型的共享方向权重提取则证明逐向量混淆仍可能在完整矩阵中留下共享秩一关系，并比较谱恢复、有限域格恢复与最大秩掩码修复。二者共同说明，接口最小化与矩阵级代数审计需同时覆盖，但前者依赖强输出 Oracle，后者依赖读取 TEE 外卸载矩阵，访问条件不可混用。

黑盒输出还可用于提取专用能力或验证资产复制。JudgeStealer 比较评分、成对选择与排序三种 Judge 协议，显示有限查询训练的替代模型可跨部分协议迁移；System Prompt 行为指纹 基于 288,000 条响应测量疑似系统 Prompt 克隆的输出相似度及规避成本。两项研究都扩大了“功能机密性”的对象范围，但前者是能力蒸馏、后者是所有权验证，并不等同于逐字恢复系统 Prompt。

Adversarial Entropy Inflation Against Gumbel-Based Inference Verification 为受保护推理增加了自适应对手条件：攻击者不再被动接受 Prompt 分布，而以字符或脚本扰动提高输出熵，作者报告每 Token 泄漏约翻倍。它说明 Gumbel 类推理验证的泄漏评估必须同时覆盖对手可控输入分布、Unicode/脚本归一化和查询预算；该结果是对既有权重外传防御的单篇作者实验，不能外推为所有随机化推理方案均可被同样放大。

BReF把黑盒所有权指纹从答案是否一致推进到受控文本扰动下的概率分布响应：每对模型选择 25 个双方都能响应的探针，观察 A/B/C/D 四个标签的扰动对数比方向，再以全局余弦相似度比较。该方法无需额外训练，可用于识别由同一模型衍生的服务；但它依赖可取得四标签概率分布和共同响应探针，测得的是行为谱系相似性，不是权重逐项相同，也不能单独证明未经授权的模型复制。部署验证应加入独立训练同架构模型、量化和后训练版本作为困难负对照。

相关研究文章

结构化模型提取

Transformer FFN 曲率结构提取分析攻击者如何利用平滑前馈网络的二阶输出曲率恢复隐藏权重方向，并进一步构造高保真替代模型。2026-08-28TEE 卸载模型的共享方向权重提取分析 TEE 分区推理中共享秩一权重掩码的代数泄露，以及谱恢复、格恢复与最大秩掩码修复。2026-08-27

黑盒模型提取

预测 API 的黑盒模型提取攻击研究攻击者如何利用预测标签、置信度和部分特征查询重建远程机器学习模型，并评估查询成本与功能保真度。2016-05-17

参考链接

• Stealing Machine Learning Models via Prediction APIs
• Extracting Training Data from Large Language Models
• Scalable Extraction of Training Data from Production Language Models
• Curvature Cryptanalysis of Smooth Transformer Feed-Forward Networks
• Beyond Vector Hiding
• JudgeStealer
• Do System Prompts Leave Behavioral Fingerprints?
• NIST Privacy Framework
• Beyond QA Matching: Perturbation-Response Fingerprinting