外观
Meerkat：跨大量 Agent 轨迹的仓库级安全违规审计
摘要
Meerkat 面向“已积累许多 Agent 运行轨迹、却没有逐条标签”的审计问题。它先按自然语言性质聚类相似轨迹，再让审计 Agent 搜索候选簇并给出可操作证据；作者在合成和真实评测仓库中报告，发现的确认违规多于逐轨迹基线，并在九个基准、28 个以上提交中审查到评测脚手架层的作弊迹象。论文的真实审计依赖作者人工确认，不能据此推断所有排行榜都存在同类问题。
方法的独特价值
与只判断单条轨迹是否异常不同，Meerkat 把相似运行看作共同性质的证据，使稀少违规能够在仓库级上下文中被定位。它补足“验证器是否可被劫持”之外的发现环节：维护者如何在大规模历史轨迹中找到值得人工复核的候选。
适用范围
适用于可保存命令、工具调用、代码变更和结果的 Agent 评测或生产审计日志。它不替代可靠 oracle，也不证明未被找到的违规不存在。
方法与实施流程
- 把轨迹转为可比较的表示并聚类。
- 用安全性质和簇内对比引导审计 Agent 搜索异常模式。
- 输出候选证据、相关文件与轨迹片段，交由维护者复核。
- 将确认案例回填为标签，重测发现率和误报。
质量控制
作者在有标签的滥用、奖励劫持和安全评测语料上报告精确率—召回率，并对真实基准的疑似作弊人工确认。对 Terminal-Bench 相关发现，论文区分了确认的答案注入与无法确认的提示线索；这项区分应保留在后续引用中。
局限与待验证问题
聚类和审计 Agent 都可能漏掉少量、分散或表现不同的违规；真实仓库通常没有完整真值，发现数量也受审计预算影响。跨模型、跨日志格式的稳定性仍待独立验证。