外观
RustMizan: A Compilable, Contamination-Aware Benchmarking Framework for Rust Vulnerabilities
摘要
RustMizan 是一个面向 Rust 漏洞分析 Agent 的可编译基准。它把真实内存安全 CVE 组织为 crate、文件和函数多粒度变体，并同时评估二元漏洞检测、CWE 分类、函数定位和行定位；配套的成对突变用于检查数据污染和对抗性线索对结果的影响。
作者在 Docker、ReAct 和 shell 工具环境中测试四个模型。研究报告的干净集检测准确率为 56.1%--64.7%，行定位 F1 为 17.5%--23.2%；恶意注释和标识符重命名使平均行定位 F1 从 21.0 降低 5.6 个百分点。结论只适用于论文列出的 42 个 CVE、模型和变体，不能直接外推为所有代码审计 Agent 的漏洞发现率或忠实推理保证。
核心创新与差异
原研究贡献
- 构建包含 42 个真实 Rust 内存安全 CVE 和 173 个 crate、file、function 级可编译变体的基准，并提供二元检测、CWE 分类、函数定位和行定位标注。
- 用成对的语义保持代码突变测试污染与鲁棒性，覆盖良性突变、Rust 特有突变以及恶意注释和重命名等输入线索。
- 在三种经过 Vanilla SFT 污染的开源模型上比较污染条件下的检测收益，并公开数据、Apache-2.0 框架、指标代码、重现指南和 2768 条任务调用日志。
本站分析
这项研究把“发现代码存在漏洞”和“准确指出漏洞位置”拆成了不同的安全评测对象。对代码审计 Agent 而言，可执行代码语义与注释、标识符等攻击者可控线索之间的区分，直接影响漏洞定位完整性；对基准维护者而言，公开数据进入训练语料后，污染会改变评测对模型能力的解释。这里的恶意线索是评测中的输入变换，论文结果不等于真实项目已经发生供应链攻击。
威胁模型与攻击链
评测关注的攻击者能力是控制代码中的注释或标识符等非核心语义线索，诱导漏洞分析 Agent 偏离真实漏洞位置；另一个风险来源是公开基准样本进入模型训练语料，导致模型表现混入记忆或污染收益。目标资产是漏洞检测、CWE 判断和函数/行级定位的完整性。
攻击链可以概括为：代码贡献者或基准构造者提供可编译 Rust 代码，Agent 在命令行环境中读取、编译并分析代码；攻击性注释或重命名改变可见线索，Agent 再输出漏洞类别和位置。若样本已经参与模型训练，污染突变会进一步使评测结果不能代表未见样本上的分析能力。首个需要验证的控制是 Agent 是否把可执行语义与可控文本线索分开处理。
实验设计与实际过程
这是作者实验，不是本站复现。实验在 Docker、ReAct 和 shell 条件下测试 Claude Sonnet 4.6、GPT 5.4、Gemini 3.1 Pro 和 Qwen 3.6 Plus。基准按 crate、file、function 三种粒度提供编译变体，分别测量二元检测准确率、CWE 分类以及函数和行定位结果。
实验比较干净输入、函数级上下文、良性或 Rust 特有突变，以及加入恶意注释和标识符重命名后的输入。污染部分使用三种经 Vanilla SFT 污染的开源模型，比较良性与恶意突变对污染收益的影响。公开的任务日志、指标代码和重现指南记录了评测过程，但尚无独立复现结果。
关键结果与实际影响
- 干净集上的二元漏洞检测准确率为 56.1%--64.7%，说明判断“是否存在漏洞”并不等同于能够可靠定位漏洞。
- 行定位 F1 为 17.5%--23.2%；函数级上下文提高所有模型的定位表现，但没有消除精确定位困难。
- 恶意注释和标识符重命名使平均行定位 F1 从 21.0 降低 5.6 个百分点，相对下降约 27%。这说明代码分析评测不能只报告二元检测准确率。
- 良性和 Rust 特有突变对前沿模型的聚合结果变化较小；在污染模型上，良性和恶意突变显著压低污染收益，支持把污染审计纳入基准解释。
实际影响是：代码安全 Agent 的部署评估应分别验证检测、分类和定位，并把能编译、能执行的代码上下文与文本线索操纵分开记录。论文没有证明任何具体模型在生产代码审计中必然被绕过。
防护措施与验证方法
基准侧应保留可编译测试、真实漏洞标签和多粒度定位标签，并用成对语义保持突变检查模型是否依赖注释或标识符线索。评测报告至少应同时给出二元检测、CWE、函数定位和行定位指标，记录模型、工具环境、输入变体和污染条件。
部署侧可将代码编译/测试结果、静态分析证据与模型判断分开保存，在高风险定位结论进入修复流程前要求独立证据或人工复核。验证时应重复干净、良性、恶意和污染条件；这些是根据论文暴露的失效模式提出的工程验证方法，不是论文已经证明有效的防御。
局限与待验证问题
- 数据仅包含 42 个 Rust 内存安全 CVE，且使用“补丁即修复”的标签假设，不能代表其他语言、漏洞类型或未修复代码。
- 突变覆盖不均，恶意线索实验不等同于真实攻击者在大型代码仓库中的发生率。
- 评测使用论文列出的四个模型和固定工具环境，尚无独立复现；公开轨迹的回忆内容也不等同于模型的忠实内部推理。
- 后续需要在更多 Rust 版本、语言和真实仓库中验证定位结果，并区分模型记忆、语义理解和工具执行对结果的贡献。