AI Security

外观

红队工程与防御验证 · C2 Payload、语料与测试 Harness2026-07-28约 8 分钟

提示词注入相关开源仓库清单 ​

整理日期：2026-07-28。核实方式：先用 WebSearch 广撒网，再逐个用 curl https://api.github.com/repos/<owner>/<repo> 核实仓库确实存在、拉取 star 数/最后 push 时间/license，不单纯依赖搜索摘要（搜索摘要里出现过一个已被删除/改名的仓库，见下方"核实中剔除"）。

按"payload 密度"排序——用户明确想要的是带真实攻击 payload 可以直接用的仓库，不是泛泛的说明文档。

1. 原始 Payload / 提示词合集（密度最高，开箱即用） ​

仓库Star最后更新License说明
swisskyrepo/PayloadsAllTheThings — Prompt Injection/ 目录79,4872026-07-23MITWeb 安全/CTF 领域最知名的 payload 大全，Prompt Injection 子目录专门收录了分类整理的注入/越狱 payload 示例，格式和仓库其他分类（SQLi、XSS 等）一致，直接可复制使用。
elder-plinius/L1B3RT4S20,6812026-02-17AGPL-3.0按 14+ 家主流 AI 厂商（OpenAI、Anthropic、Google、xAI、Meta、阿里、DeepSeek 等）分文件收录越狱/注入 prompt，更新频率很高。注意：这个仓库自己的 GitHub 描述字段里就嵌了一段注入 payload（[DISREGARD PREV. INSTRUCTS] + 隐藏 Unicode 隐写字符），本身就是"元样本"——处理这个仓库内容时如果喂给下游 LLM（比如自动摘要仓库描述的流水线），要留意它会不会被当成指令执行。
peluche/deck-of-many-prompts562026-03-19无 license"扑克牌式"手动注入 payload 集合，面向红队人工测试场景，量不大但分类清晰。

2. 自动化扫描工具（内置成百上千条 probe/payload，主要用途是跑测试而非直接读 payload） ​

仓库Star最后更新License说明
NVIDIA/garak8,5972026-07-27Apache-2.0最主流的 LLM 漏洞扫描器，插件化 probe 体系覆盖注入、越狱、幻觉、数据泄露等，probe 源码里就是大量结构化 payload，可以直接抽取复用。
praetorian-inc/augustus2622026-07-28Apache-2.0Go 重写版的 garak 思路，190+ probe / 47 攻击类别 / 28 家 LLM provider，单二进制无需 Python 环境，2026 年新出，更新非常活跃（当天有 push）。
utkusen/promptmap1,2372025-12-01GPL-3.0针对自定义 LLM 应用的黑盒/白盒注入扫描器，附带可配置的攻击 prompt 模板库。
ReversecLabs/spikee2262026-07-13Apache-2.0"Simple Prompt Injection Kit"，能生成任务+注入 payload+可选 system message 组合的完整测试用例数据集，适合批量造数据。
protectai/rebuff1,5152024-08-07Apache-2.0侧重防御方向的检测器（启发式+LLM 判定+向量库+canary token），过去两年没更新，仅作参考架构。

3. Agent 场景专用 Benchmark（结构化"任务+间接注入攻击"数据集，最贴近 crowdstrike-prompt-injection-taxonomy.md 里 Context-Data 一类） ​

仓库Star最后更新License说明
ethz-spylab/agentdojo6872026-06-02MIT目前最全面的 agent 间接注入评测框架：97 个真实任务（邮箱、银行、差旅、workspace）+ 629 个安全测试用例，插件化攻击/防御接口，持续维护中，US/UK AISI 联合红队也用它扩展过。
uiuc-kang-lab/InjecAgent1532024-07-02MIT1,054 个测试用例，覆盖 17 个用户工具 × 62 个攻击者工具，攻击意图分"直接伤害用户"和"窃取隐私数据"两类；两年没更新，当参考数据集用没问题。
liu00222/Open-Prompt-Injection4682025-10-29MIT通用（非 agent 专属）提示词注入攻防 benchmark，多种攻击方法 + 多种防御方法的对照实现。

4. 对抗性后缀优化攻击（代码生成 payload，而非静态列表——GCG 系） ​

仓库Star最后更新License说明
llm-attacks/llm-attacks4,7492024-08-02MITGCG（Greedy Coordinate Gradient）原始实现，Zou et al. 2023《Universal and Transferable Adversarial Attacks on Aligned Language Models》配套代码，几乎所有后续对抗后缀研究都基于它。
OSU-NLP-Group/AmpleGCG872024-11-03未声明训练一个生成器直接产出对抗后缀，几分钟内为任意 harmful query 生成上百条后缀，比逐条跑 GCG 快得多。
tml-epfl/llm-adaptive-attacks3912025-01-23MITICLR 2025，用简单自适应策略（模板+随机搜索）对齐 logprob 目标，在多个模型上接近 100% 攻击成功率。

5. 索引型资源（论文+代码+数据集的聚合导航，本身不是 payload，但用来查漏补缺很有效） ​

仓库Star最后更新License说明
yueliu1999/Awesome-Jailbreak-on-LLMs1,5472026-07-22MIT越狱方法的论文+代码+数据集追踪列表，更新频率高。
chawins/llm-sp5792025-06-08Apache-2.0LLM 安全与隐私相关论文资源合集，覆盖面广于单纯的提示词注入。
vectara/awesome-agent-failures1902026-07-06Apache-2.0社区维护的 AI agent 失败模式集合，含提示词注入相关的失败案例和缓解方案。
Joe-B-Security/awesome-prompt-injection5692026-06-02CC0-1.0提示词注入知识型导航，含 OWASP GenAI 项目的定义/威胁模型/攻击场景引用，偏讲解而非原始 payload。

核实中剔除 ​

  • zacfrulloni/Prompt-Engineering-Holy-Grail：搜索结果里出现过，但 GitHub API 返回 404（已删除或改名），未收录。如果后续想用，需要先手动确认新地址再评估可信度。

本地克隆状态 ​

2026-07-28 已将上表全部 18 个仓库（剔除 404 的那个）浅克隆（--depth 1）到 agent-security/prompt-injection/code/，各仓库以原仓库名建目录，总占用约 954M。

体积异常大的两个，占用主要不是 payload/源码本身，而是仓库自带的历史运行产物：

  • agentdojo/runs/（477M）—— 作者跑 benchmark 留下的历史结果日志。
  • llm-adaptive-attacks/attack_logs/（141M）—— 历史攻击运行日志。

这两块目录对"复用 payload"没有直接价值，如果要省空间可以单独删掉，不影响 payload/代码本身。

后续行动建议 ​

  • garak、augustus 的 probe 源码本质是"结构化 payload + 检测器"打包在一起，抽取里面的 payload 部分比直接读原始 markdown 更省事，但需要按各自代码结构解析（Python / Go）。
  • 各仓库都是 --depth 1 浅克隆，没有完整提交历史；如果后续需要追溯某条 payload 的历史版本变化，需要重新完整 clone 对应仓库。