Skip to content

LLMscope:边缘加速器光学探测与模型资产提取 ​

摘要 ​

LLMscope 研究边缘 FPGA 上的模型与推理状态是否会在芯片内部形成可直接读取的物理泄露。作者使用激光电压成像中的电光频率映射(Electro-Optical Frequency Mapping, EOFM),在代表性 FPGA 存储与矩阵计算结构上定位并恢复受控数字值;随后依据 LLM 加速器的资产流和硬件复用方式,分析嵌入、注意力、量化 MLP 权重、激活及其他推理状态的提取路径。

论文报告对测试台中选定的 8 位和 16 位寄存器/BRAM 值进行完整恢复,并给出两种不完全观测下的补全路径:以已恢复的输入—输出对对线性模块做高斯消元,或用精确下游状态排除未解析比特。研究还推导成像工作量与资产规模、并行覆盖、重放次数和硬件资源复用的下界;它没有从完整部署的 LLM 中提取整层权重或用户 Prompt,结果也不能直接外推到 GPU、ASIC 或具备封装级光学防护的设备。

核心创新与差异 ​

原研究贡献是把光学探测从活动定位推进到 LLM 资产的直接比特级读出,并将边缘推理抽象为“资产流”:同一 BRAM、URAM、寄存器和计算子电路会依次承载不同地址、层和模块的数据,使一次定位可跨重放摊销。

本站分析认为,最先失效的是设备物理边界和运行时资产保密,而不是模型仓库访问控制。磁盘加密、外部内存加密或模型下载权限都不能覆盖已经进入片上缓冲与数据通路的权重和用户相关状态。

威胁模型与攻击链 ​

攻击者具有 FPGA 芯片背面物理访问、专业近红外光学设备以及执行或重放推理的能力,但不需要与内部信号电接触,也不需要修改模型或读取外部存储明文。

  1. 运行可重复的本地推理并选择与执行频率相关的观测。
  2. 用 EOFM 扫描芯片背面,定位承载目标资产的存储或数据通路区域。
  3. 在受控输入下重放推理,恢复局部结构中的数字比特值。
  4. 利用硬件复用读取不同地址、模块和层。
  5. 对未完整读取的线性资产或少量未知比特,使用输入—输出关系与下游状态补全。

攻击方法与复现材料 ​

物理探测的设备参数和定位细节不适合转化为可直接操作第三方硬件的步骤。以下为本站依据论文数据流重构的离线审计伪代码:

text
for asset in local_fpga_fixture.assets:
    path = trace_storage_and_compute_path(asset)
    assert path.has_confidentiality_control_at_each_stage
    replay_count = estimate_required_replays(asset.size, observable_bits)
    record(asset.name, path, replay_count, zeroize_on_release)

该夹具不驱动激光设备,只用于核对模型资产和推理状态在 DDR、片上 RAM、寄存器及计算输入之间的驻留与清理。检测信号包括异常重复推理、维护态物理访问和高频稳定输入模式。

实验设计与实际过程 ​

以下均为作者实验,本站未独立复现。测试台使用 Kintex-7(XC7K325T-2FFG900C)FPGA、200 MHz 核心时钟和 Hamamatsu PHEMOS-X 显微镜。直接读出实验以 2×2 单位矩阵的数据通路和 8/16 位寄存器、BRAM 输出为受控对象;四组 EOFM 捕获恢复出的输入与输出均与编程值一致。论文再把这些物理边界映射到模型资产(嵌入、注意力与 MLP 投影、量化元数据等)和执行相关资产(激活、部分和、KV Cache、Logit 等),这部分是资产流分析,不是完整 LLM 权重提取实测。

不完全观测实验在四组既有 EOFM 捕获上离线遮蔽数据,没有追加光学测量。联合权重/输出恢复评估了 12,898 个遮蔽组合和 309,552 条观测顺序轨迹;下游约束实验覆盖 856 个输入比特遮蔽配置、12,032 个候选补全。较大遮蔽空间使用确定性抽样,因此相关比例只代表所测遮蔽集合。

作者强调 FPGA 的可重构性和结构复用会影响成像成本,并给出随资产维度近似线性增长的直接恢复分析。论文没有证明对任意封装、工艺节点、频率或并行实现都可取得相同信噪比。

关键结果与实际影响 ​

  • 作者在所测 FPGA 测试台上完整恢复了四组寄存器输入/输出以及 8 位、16 位 BRAM 输出;这验证了局部数字值读出,不等于已经提取完整 LLM。
  • 部分权重或比特无法直接读取时,线性模块关系和精确下游状态可补全部分缺失信息;在联合恢复实验的最难设置中,8 个权重位与每个 34 位下游状态中的 8 位同时不可读,421/508(82.87%)个所测遮蔽组合唯一恢复原矩阵。
  • 下游约束实验的 856/856 个输入遮蔽配置均唯一恢复,包含整字节 8 位不可读的情况;该结果来自已知 2×2 矩阵和受控状态,不应外推为任意 LLM 资产的同等恢复率。
  • 持久模型资产泄露会损害模型知识产权;KV Cache、激活和 Logit 等执行态泄露还可能暴露用户输入与生成上下文。
  • 成像成本与目标资产规模近似线性,但硬件资源复用和一次观测覆盖多个比特可降低重复定位成本。

防护措施与验证方法 ​

  • 将边缘设备纳入物理威胁模型,限制拆机、背面访问和维护接口,并保留防篡改事件记录。
  • 对片上存储、寄存器和内部总线实施生命周期最短化与及时清零,不只保护外部模型文件。
  • 评估掩码、随机化、动态布局和光学传感防护对信息泄露与性能的共同影响。
  • 在硬件验收中绘制权重、KV Cache 和激活的完整资产流,验证每个驻留点的访问与销毁策略。
  • 避免把 TEE 或外部内存加密声明外推为芯片内部所有状态均不可观察。

局限与待验证问题 ​

证据等级为中等。攻击需要昂贵专业设备、芯片背面接触和可重复执行,适用于物理暴露的边缘设备而非普通远程对手。实验针对 FPGA 原型;量产 GPU/NPU 的封装、防篡改、噪声、频率管理和数据路径不同。资产补全还依赖已知计算关系和足够独立的观测。

参考链接 ​