跑了 300 次，就是 300 个样本吗？

1前面的公式都有同一个前提

前面几个概念，每个公式都写着"每次试验相互独立、失败率相同"（统计上叫独立同分布，i.i.d.）：

这些公式从头到尾只用到 n 这个数字。n 到底是多少，没有人替你检查。

2"同一个用例跑 30 次"和"30 个用例各跑 1 次"回答的是两个问题

实际评测一般两者都有：C 个用例，每个跑 m 次，一共 \(n = C \times m\) 次。麻烦在于：同一个用例的 m 次结果彼此相关，难的用例总是挂，简单的总是过。

3Agent 评测里，独立性是怎么被破坏的

共同点：多次运行共享了某个随机因素（用例、种子、环境、Judge、时间段）。共享得越多，它们越像"同一次"。

4用数字衡量：簇内相关系数和设计效应

把同一个用例的 m 次运行看成一"簇"。簇内相关系数（ICC，记作 \(\rho\)）衡量同一簇内两次运行的结果有多像：

\(p_i\) 是第 i 个用例自己的失败率，\(\mu\) 是所有用例的平均失败率。

• \(\rho = 0\)：所有用例一样难，重跑一次就是一个全新的独立样本。
• \(\rho = 1\)：每个用例要么永远挂、要么永远过，重跑一次没有任何新信息。

有了 \(\rho\)，就能算出 n 次运行相当于多少个独立样本：

分母 \(1+(m-1)\rho\) 叫设计效应（design effect）。区间宽度按 \(1/\sqrt{n}\) 变化，所以区间会变宽约 \(\sqrt{\text{设计效应}}\) 倍。

前提：每个用例重跑次数 m 相同、所有用例共用同一个 ρ、用例是随机抽的。m 不相等时用平均簇大小近似，或者直接用 cluster bootstrap。

例子：30 个用例 × 10 次 = 300 次，挂了 30 次

加重跑次数，救不回来

固定 C = 30 个用例、\(\rho = 0.3\)，只增加每个用例的重跑次数 m：

m 趋于无穷时，\(n_{\text{eff}} \to C/\rho = 30 / 0.3 = 100\)。跑 3000 次也只顶 98 个独立样本。想要更多有效样本，要加用例，不是加重跑。

6对策

cluster bootstrap（按用例整组重抽）

import numpy as np

def cluster_bootstrap_ci(fails: np.ndarray, n_boot: int = 10_000, seed: int = 0):
    """fails: 形状 (C, m) 的 0/1 矩阵，每行一个用例。返回平均失败率的 95% 区间。"""
    if fails.ndim != 2 or fails.size == 0:
        raise ValueError("fails 需要是非空的 (用例数, 重跑次数) 矩阵")
    rng = np.random.default_rng(seed)
    per_case = fails.mean(axis=1)                  # 每个用例自己的失败率
    idx = rng.integers(0, len(per_case), size=(n_boot, len(per_case)))
    means = per_case[idx].mean(axis=1)             # 整组抽用例，再求平均
    return np.percentile(means, [2.5, 97.5])

关键是 per_case[idx]：抽中一个用例，就带上它的全部 m 次结果。如果按单次运行抽，就又回到了"假装独立"。

7面试要点与常见错误

一句话讲清楚

置信区间只认独立样本。同一个用例的多次运行彼此相关，有效样本是 \(n/(1+(m-1)\rho)\)，上限是用例数除以 ρ；所以报告要写"几个用例 × 每个几次"，区间要按用例聚类算，想提高精度要加用例。

追问准备

1. ρ 怎么估？用单因素方差分析（ANOVA）的组间、组内方差估；或者绕开 ρ，直接用 cluster bootstrap 算区间。
2. 什么时候可以不管？每个用例只跑 1 次（m = 1），设计效应就是 1；但这时要求用例本身是从任务分布里随机抽的。
3. temperature = 0 就一定没用吗？对"这个用例稳不稳"没用，重跑 30 次几乎是同一个结果；但对"这批用例整体通过率"没影响，那时的样本是用例。
4. 两个版本对比怎么办？让两个版本跑同一批用例，按用例配对比较（McNemar 检验、配对 bootstrap），用例难度的影响会在配对里抵消掉。这是下一步要学的。

常见错误说法