30 次全过，能说明什么？

在 95% 置信度下，只能说明失败率 ≤ 9.50%。

Agent 的真实失败率 p（现实中未知，这里由你设定）
门禁：每组连续跑 n 次，全过才放行
置信度

门禁模拟器

让这个 Agent 过 200 组门禁，每组连续跑 n 次。一格代表一组。

n 次全过，骗过门禁 中途失败，被拦下 还没跑
已跑组数
0
骗过门禁的组
0
理论值 (1 − p)n

最新一组
第 1 次

全过概率曲线

横轴是真实失败率 p，纵轴是连续 n 次全过（骗过门禁）的概率。把鼠标移到图上可以读数。

 

反证推理

假设门禁刚刚跑完 n 次，全部通过。数字随参数实时更新。

    错误说法："有 的概率，Agent 的失败率 ≤ "

    真实失败率是固定值，不能挂概率。

    正确说法："如果失败率 ≥ ，连续 次全过的概率 ≤ ；所以 置信度下，失败率 ≤ "

    练习

    可以先用上面的滑块和曲线找答案，再填进来。

    题 1测试 Agent 在同一个 Bug 上跑了 20 次，20 次都找到了。95% 置信度下，漏掉这个 Bug 的概率上界是多少？

    题 2只跑了 5 次，5 次全过。95% 置信度下，失败率上界是多少？

    题 3要在 99% 置信度下证明退款误操作率 ≤ 1%，至少要零失败跑多少次？

    题 41000 次全过能证明失败率 ≤ 0.3%。想证明 ≤ 0.15%，大约要跑多少次？

    题 5同事说"30 次全过，所以 Agent 有 95% 的概率失败率低于 10%"。哪个回应最准确？