第 1 周：30 次全过，能说明什么？

测试 Agent 跑了 30 次，一次都没失败。它的失败率是 0 吗？不能这么说：失败率 1% 的 Agent，30 次全过的概率也有 74%。这一章用反证法回答"30 次全过到底能说明什么"。

讲解视频

互动演示

拖动失败率 p、每组次数 n 和置信度，看门禁什么时候会被骗过。页面底部有自动判分的练习。

反证结构

1. 假设它很烂：失败率 ≥ 10%。
2. 那么连续 30 次全过的概率 ≤ 0.9³⁰ ≈ 4.2%，很罕见。
3. 但我们真的看到了 30 次全过。
4. 所以不再相信"它很烂"：95% 置信度下，失败率 ≤ 10%。

rule of three

n 次全过时，95% 置信上界满足 (1 − p)ⁿ = 0.05。取对数后 n · p ≈ −ln 0.05 ≈ 3，所以上界 ≈ 3 / n。

换成别的置信度，常数跟着变：90% 对应 2.3，95% 对应 3.0，99% 对应 4.6。

n 每大 10 倍，曲线整体左移 10 倍：上界和 n 成反比。实际工作中方向是反过来的，先定目标失败率，再算要跑多少次。

常见错误说法

• “有 95% 的概率失败率低于 10%”：真实失败率是固定值，不能挂概率。95% 描述的是这套方法的可靠性。
• “要证明失败率 ≤ 1%，跑 100 次就够”：100 是 1/p，没有用到置信度。100 次全过在 99% 置信度下只能说明 ≤ 4.5%。
• 只适用于零失败：出现失败以后要换 Wilson 区间，这是下一个概念。