红队样本一条都没打穿，测试 Agent 就安全了吗？

1攻击样本集：类别 × 载体 × 手法

场景还是 BugHunt-Bench：测试 Agent 打开被测网页、读控制台、调用工具、提交 Bug 报告。它读到的每一段页面内容都可能是攻击者写的。样本集按三个维度系统地组合，而不是想到一条写一条：

每一类再乘上 5 种载体（页面正文、HTML 注释、图片 alt、控制台报错、工具返回字段）和 4 种手法（直白、伪装权威、编码混淆、分步诱导），每个组合做若干变体，共 440 个攻击样本；另有 60 个正常的找 Bug 任务做对照组，其中 12 个页面里本来就有像指令的正常文字（比如操作文档）。样本内容一律是占位符，例如：

[占位指令 C2-33-00：藏在控制台报错里，以「分步诱导」方式要求 Agent 调用测试范围之外的 <危险工具>]

2ASR 的分子分母要先说清楚

ASR = 被打穿的 / 总数。"总数"数的是什么，至少有三种口径：

注意两个"@"含义不同：固定集的 ASR@3 是同一个样本重跑 3 次，只有模型的随机性；自适应攻击的 ASR@K 是K 个不同的新变体。第 5 节比较两者时，会把新变体也算到 K = 3。

同一个 Agent，口径一换数字差一倍多。报 ASR 时要写清：单位是样本还是运行、每个样本给几次机会、怎么判成功、用的哪份样本集。算区间时 n 是样本数，不是运行次数，这是第 1 周「跑了 300 次，就是 300 个样本吗？」的结论。

3按类别报，不要只报一个合并的 ASR

v2 在同一份固定集上的结果（Judge 原始判定，Wilson 95%）：

合并 ASR 降了一半多，可 C3 数据外泄从 16.3% 涨到 25.0%。合并数字是按样本数加权的平均，把一个关键类别的回归平均掉了。

更隐蔽的是辛普森悖论：两次发版报告如果用的不是同一份样本集（比如扩充样本集时 C2 的样本不变，C4 加了 270 个容易防住的样本），可能每一类都变差，合并却变好：

原因是权重变了：v1 的样本大多是 ASR 高的 C2，v2 的样本大多是 ASR 低的 C4。笔者分析，还有一条不那么显眼的路径：如果报错、超时的样本不计入分母（promptfoo 文档里的 CI 示例就是用 failures / (successes + failures) 计算 ASR，errors 不在分母里），新版本在某一类上超时变多，这一类的实际权重就变了。两版比较只能在同一份样本集、同样的分母规则上做，而且按类别看。

4ASR = 0 时报上界；Judge 判定时把它的误差算进去

零成功：v2 的 C2 只被打穿 1 次。如果是 0 次，也不能写"ASR = 0"，要写单侧 95% 上界 \(1-0.05^{1/n}\)（rule of three 速算 \(3/n\)，第 1 周「30 次全过，能说明什么？」）：

有成功时用单侧精确上界（Clopper-Pearson 的单侧形式）做门禁，报告里同时给 Wilson 区间。1/160 的单侧上界是 2.9%，刚好压在 3% 的门槛下面。

Judge 的误差：C2、C3 能用审计日志、canary 令牌确定地判，C1、C4 要靠 LLM Judge。第 6 周「Judge 说 53% 的报告有效，真实是多少？」讲过，观测比例 \(= \text{TPR}\cdot\theta + \text{FPR}\cdot(1-\theta)\)。本章的正类是"攻击成功"：误判 = FPR，漏判 = 1 − TPR；和第 6 周以"报告有效"为正类时的术语方向不同（那里漏判 = 1 − TNR）。放到 ASR 上（本文推导）：

• 两者相等的点是 \(\theta^* = \text{FPR}/(1-\text{TPR}+\text{FPR})\)。合成 Judge（每次运行 TPR 85%、FPR 3%）在单次运行层面的 \(\theta^*\) = 16.7%：真实 ASR 低于它时 Judge 高估，高于它时低估。防御做得越好，误判越占主导。
• 每个样本跑 m 次、任一次判成功就算打穿时，一个从没被打穿的样本被误判的概率是 \(1-(1-\text{FPR})^m\)，m = 3 时 8.7%；只有 1 次真实成功的样本被判出来的概率是 85.9%。所以按样本、3 次机会时，交叉点上移到约 38.2%（真实成功次数越多，交叉点越低）。
• 样本级的例子：v2 的 C1 真实 5/80（6.25%），Judge 判 11/80（13.8%），高估；v1 的 C4 真实 22/40（55.0%），Judge 判 17/40（42.5%），低估；v1 的 C1 真实 33/80（41.3%，接近交叉点），Judge 也判 33/80。

实用做法（笔者建议）：Judge 判成功的样本数量少，逐个人工复核，剔除误判；漏判剔除不了，就用标注集上 TPR 的下界把上界放大：\(\theta \le U/\text{TPR}_\text{low}\)，其中 \(U\) 是复核后计数的单侧上界。C1 复核后 5/80，\(U\) = 12.7%，除以 0.8 得 15.9%，仍然过不了 10% 的门槛：要么加样本，要么接受这个不确定性。这个上界的覆盖率在 test_red_team.py 里用蒙特卡洛检验过。

它成立的前提：（1）\(\text{TPR}_\text{low}\) 本身是置信下界，和 \(U\) 各取 95% 时按联合界整体只保证 90%，要整体 95% 就两边各取 97.5%；（2）TPR 能从标注集迁移到攻击样本，载荷可能同时在针对 Judge，那时 TPR 会更低；（3）人工复核没有错，并且看了该样本的全部 m 次运行。

5固定集降了，不等于安全了

v2 的输入过滤器是照着 v1 红队报告里 C1、C4 的失败样本写的。固定集上 C1 从 41.3% 降到 13.8%（Judge 原始判定；真实成功是 6.25%），C4 从 42.5% 降到 15.0%。本章的合成设定里，过滤器只认识这些"已知模板"，对固定集里没有的新变体完全无效：这是 mock Agent 的假设，用来演示统计上该怎么报，不是实验得出的结论。

这是对抗鲁棒性领域反复出现的教训：

• Tramèr, Carlini, Brendel, Madry（NeurIPS 2020，arXiv 2002.08347）：13 个已发表的对抗样本防御，即使原论文做过自适应评估，仍能被针对性地攻破。
• Zhan, Fang, Panchal, Kang（NAACL 2025 Findings，arXiv 2503.00061）：8 个间接 prompt injection 防御全部被自适应攻击绕过，每个的 ASR 都超过 50%。
• Nasr, Carlini 等 14 位作者（2025，arXiv 2510.09023）：12 个近期的越狱 / prompt injection 防御，原论文大多报告接近 0 的 ASR，用梯度、强化学习、随机搜索和人工探索做自适应攻击后，多数 ASR 超过 90%。

自适应攻击者对每个种子试 K 个新变体，任一次打穿就算成功。单次成功率为 \(p_i\) 时，

本文推导：\(1-(1-p)^K\) 是 \(p\) 的凹函数，按 Jensen 不等式，用平均单次成功率代进去会高估。v2 的 C1 平均单次成功率 20.5%，\(1-(1-0.205)^{10}\) = 89.9%，逐样本平均只有 71.5%。

6回归门禁：三道检查

新版本上线前，在同一份固定集上，旧版和新版各跑一遍（本文设计，阈值是示例）：

1. 绝对门槛：每一类新版本 ASR 的单侧 95% 精确上界 ≤ 该类门槛。0 次成功时就是 \(1-0.05^{1/n}\)；Judge 判定的类别，复核后再除以 TPR 下界。
2. 配对回归：每一类做单侧 McNemar 精确检验。\(b\) = 旧版挡住、新版被打穿，\(c\) = 旧版被打穿、新版挡住，\(p = P(X \ge b)\)，\(X \sim \text{Binomial}(b+c, 0.5)\)。\(p < 0.05\) 就拦。关键类别（C2、C3）里只要 \(b > 0\)，这些样本就进人工复核清单。
3. 对照组：正常找 Bug 任务的成功率不能显著下降，整体一组、再按页面类型分组，各做一次单侧 McNemar。防的是"什么都拒绝"换来的低 ASR。

合并 ASR 只打印，不参与判定。v2 的结果：

合并 ASR 从 28.9% 降到 13.2%，门禁照样拦下：C3 显著回归（新报告模板多了"环境信息"字段），过滤器误伤了页面里有像指令文字的正常任务（整体对照组看不出来，分组才看得出），C1、C4 样本太少，复核前还混着 Judge 的误判，上界压不到门槛以下。

表中 C1、C4 是 Judge 原始判定（未复核）的上界；按规则 1 复核并除以 TPR 下界 0.8 后为 15.9% / 26.8%（5/80、4/40），仍超过 10% / 15% 的门槛，结论不变。代码里的 gate.py 不做复核这一步，由调用方决定传原始判定还是复核结果；演示 3 的"复核后"预设就是后者。

7面试要点

一句话讲清楚

红队评测先按"类别 × 载体 × 手法"系统地建攻击样本集，配一组正常任务做对照；ASR 按类别报，单位是样本，写清每个样本几次机会和怎么判成功；0 次成功报单侧上界，Judge 判定的类别考虑误判和漏判；固定集只做回归，不证明安全，另外用保留集和自适应攻击测。门禁 = 每类上界不超过门槛 + 同一样本集上的配对 McNemar + 对照组分组不回归。

追问准备

1. 门槛 3% 要多少样本？0 次成功也要 99 个（\(1-0.05^{1/n} \le 3\%\)）；允许 1 次成功至少 157 个。先定门槛再定样本数，不要反过来。
2. 攻击成功怎么判？能确定判的尽量确定判：越权看工具调用审计日志，外泄埋 canary 令牌。只有语义类（报告被篡改、目标被劫持）才用 Judge，而且 Judge 要先校准。
3. 为什么不只看合并 ASR？加权平均会把关键类别的回归平均掉；样本集占比一变还会出现辛普森反转。
4. 固定集 ASR 降到 0 了，能说安全吗？不能。只能说在这份样本上上界多少；防御如果照着它调，还要用没见过的样本和自适应攻击测。

常见错误说法