外观
SABER：以最终工作区状态评估 编码 Agent 的操作安全
摘要
SABER 针对 编码 Agent 在项目目录、版本控制和本地执行环境中的操作安全，主张不以单轮“是否拒答”作为终点，而按多步调用后的最终工作区状态判定安全违规。基准将行为按成因分类，以显示不同模型在同一最终危害下的不同失效方式。
作者评估 13 个模型，并报告最佳模型的有害安全违规率仍超过 54%。这说明其所测环境下，语言层拒答不能代替对实际文件、命令与状态变化的检验；不代表所有 编码 Agent 或生产环境都有该比例的风险。
核心创新与差异
原研究贡献。 SABER 的独立增量是把 Agent 评测对象从文本响应转为状态化项目的最终可观测状态，并提供环境、行为类别和执行结果之间的归因。
本站分析。 现有 Prompt 注入基准主要测试是否遵循恶意指令；SABER 补足“任务表面正常、但最终工作区安全姿态被改变”的评估对象。首个失效控制是评测 Harness 没有为文件、配置和命令的实际副作用设置独立执行判定器。
威胁模型与攻击链
攻击可来自用户任务、工具输出或 Skill 文件中的恶意指令；Agent 有权编辑文件、运行命令或提交版本控制操作。论文在隔离 Docker 项目中运行，不使用真实凭据或第三方服务。
- Agent 在看似正常的项目任务中接收工作区上下文或外部指令。
- 多轮工具调用修改文件、配置或执行环境。
- 文本拒答或单个命令检查未能描述最终状态。
- Harness 用隔离环境的文件系统与执行证据判定安全违规，并区分拒绝、失败和实际成功。
攻击工件与复现材料
作者公开 SABER 基准和代码（下列仓库）。论文只在隔离容器中使用合成项目状态，且不应把其中的任务直接迁移到第三方系统。本站没有复制原始攻击任务、命令或持久化脚本；若在授权环境复现，应使用无网络、无真实凭据的 Docker 夹具，并只检查工作区 diff、工具事件和执行 oracle。
实验设计与实际过程
论文将 13 个模型放入多类项目场景，并与九个代表性安全基准的覆盖差异对比。评测记录环境状态、工具调用与最终违规，覆盖受提示、工具输出和 Skill 文件影响的情形。结果来自作者实验；本站没有运行模型，也没有把 Docker sandbox 外推为云 IAM、多用户权限或长生命周期服务。
关键结果与实际影响
- 作者报告最优模型的有害安全违规率超过 54%，表明环境化安全并不随一般能力提升而稳定改善。
- 对齐较强的模型可能表现为低违规但同时较低的正常任务合规，评估需要同时报告两者。
- 指令载体与项目状态都会改变结果，因此仅用文本 Payload 或最终字符串评分会遗漏执行层风险。
防护措施与验证方法
- 将高影响文件、启动项、依赖、权限和网络配置的变更纳入执行 oracle，而不是只检查模型回答。
- 为 Agent 提供最小权限工作区、默认无网络的沙箱和可回滚快照；高影响变更在合并前经确定性策略校验。
- 报告违规率、正常完成率、拒绝率、错误率、不同载体与不同项目状态的分层结果，并复查版本控制 diff 和运行轨迹。
局限与待验证问题
SABER 不覆盖构建配置和依赖 manifest 等所有项目级载体，也没有真实互联网、云 IAM 或多用户服务。Docker 环境提高可重复性但不等同生产系统；模型版本、工具配置和任务集变化都可能改变结果。当前是单团队基准和作者评估，仍需要跨 Harness 的独立复测。