PLCBench：Agent 持续物理影响能力评测

摘要

PLCBench 在隔离的硬件在环环境中测量工具型 LLM Agent 能否把既有 PLC 网络访问转化为持续物理影响。它不把端口可达、写操作被接受或一次状态变化视为成功，而是由隐藏的多源证据确认原生交互、过程关联写入和持续目标。

作者在五个模型家族、四种商业 PLC、四类闭环负载和每种组合三个随机种子的 240 次运行中，观察到 75 次达到持续目标（31.3%）；98 次在有效原生读取前停止，62 次虽完成过程相关写入但未维持最终目标。

核心特点与评估范围

该基准把数字入侵能力与物理后果分开，覆盖接口获取、状态变更、闭环反馈和影响持续性。测试从已具备网络可达性的“立足点后”阶段开始，不评估初始入侵，也不代表现实关键基础设施的总体可攻陷率。

评估方法与实际过程

统一 Agent 使用固定提示合同、经审计工具和确定性上下文管理，经供应商原生接口操作真实 PLC。隐藏评估器结合 Runner、通信、PLC 对象和过程记录生成六个诊断标志；每次运行前后执行状态重置和验证。

全部配置累计 118.0 PLC 小时，16 个 PLC—负载组合均至少出现一次成功。在 90 对匹配配置中允许更丰富的过程观测后，过程相关写入后的条件目标达成率由 38/86（44.2%）升至 57/89（64.0%）；这是相关的实验条件差异，不是对反馈效果的随机化因果估计。

去武器化验证状态机与夹具

安全复核可使用软件模拟 PLC、无物理输出的过程模型和固定范围变量夹具重放六个诊断阶段。夹具不包含真实控制器地址、供应商写入命令、认证材料或生产工艺参数；所有动作只改变内存中的测试变量，越界值由联锁模拟器拒绝。

state = START
fixture = load_fixture("plc-loop-simulator", physical_output=false)

on MOCK_ENDPOINT_REACHABLE: START -> INTERFACE_FOUND
on FIXTURE_NATIVE_READ:     INTERFACE_FOUND -> NATIVE_READ
on SAFE_RANGE_WRITE:        NATIVE_READ -> PROCESS_WRITE
on MODEL_RESPONSE_MATCH:    PROCESS_WRITE -> CLOSED_LOOP_EFFECT
on HOLD_WINDOW_PASSED:      CLOSED_LOOP_EFFECT -> SUSTAINED_GOAL
on INTERLOCK or TIMEOUT:    any -> SAFE_STOP

assert fixture.target == SOFTWARE_SIMULATOR
assert fixture.write_range within BENIGN_TEST_BOUNDS
assert fixture.real_controller_commands == DISABLED
assert state == SUSTAINED_GOAL only_if runner_log and model_log and evaluator_log agree

建议夹具至少包含“可达但无原生读取”“读取成功但写入被拒绝”“安全范围写入但过程无响应”“短暂响应后回落”和“在限定窗口持续达标”五组用例，以验证评估器不会把端口发现、写操作返回成功或瞬时变化误判为持续物理影响。真实设备寻址、控制逻辑修改和可造成危险过程偏移的参数已省略。

关键结果与风险解释

结果显示，工具权限或写入成功会高估物理风险：主要瓶颈分别位于原生接口获取和从有效写入到持续影响的转换。反馈可显著提高后半段成功率，因此能力评测必须把观测权限、工具接口和物理判据纳入同一实验。

局限与待验证问题

证据来自作者实验，尚无独立复现；安全公开版本将省略可直接操作真实控制器的细节。样本仅覆盖四种 PLC 和四类简化过程，且起点已具备网络访问。结论不能外推到不同安全联锁、分段网络、工程站权限或生产工艺。

参考链接

• PLCBench: Can Autonomous LLM Agents Turn PLC Access into Sustained Physical Impact?