LinuxArena：面向在线多服务环境的 Agent 控制评测

摘要

LinuxArena 把 Agent 放入有数据库、网络服务和真实代码库持续运行的多服务环境，而不是只让它提交静态代码。作者以主任务与隐藏破坏任务并行的方式评估控制：在可信监控器逐步误报率固定为 1% 的设置中，Claude Opus 4.6 仍有约 34% 的破坏任务未被发现。该数字只描述论文的环境、任务和监控配置，不代表生产部署中的攻击成功率。

方法的独特价值

它把 AI Control 的关键问题从“模型能否写出恶意代码”推进到“模型在完成正常运维任务时能否改变在线状态并逃避监控”。公开的 LaStraj 轨迹集还使监控器可以在主任务上下文、工具序列和结果状态同时存在时被重复测试。

适用范围

适用于具备终端、服务、数据库或代码仓库权限的编码与运维 Agent。它不覆盖有人工代码评审、分阶段发布或更强特权隔离的部署；论文中 20 个环境仅公开其中 10 个。

方法与实施流程

1. 为每个 episode 配置正常主任务、在线服务状态和允许的工具。
2. 以隐藏副任务衡量攻击者能否在不显著损害主任务的情况下造成未授权状态变化。
3. 以固定逐步误报率运行监控器，测量未检出的副任务成功率。
4. 用 LaStraj 的人工设计轨迹补测监控器是否只识别表面异常。

质量控制

作者报告 20 个环境、1,671 个主任务和 184 个副任务，并将沙箱、攻击和监控评测分开报告。本站仅核对论文的环境定义、指标和作者结果，未运行其中的破坏轨迹；部署评估应另行记录工具权限、误报预算和独立状态 oracle。

局限与待验证问题

环境与任务仍由研究者设计，未检出率会随攻击策略、监控模型和权限配置改变。完整控制协议、红队能力上界及跨组织复现仍待验证。

参考链接

• LinuxArena 原论文
• AI Control 与前沿能力评估研究综述