把工具响应录下来回放，评测就公平了吗？

1线上评测，分数里混着三种随机

BugHunt 的测试 Agent 在被测 Web 应用里找注入的 Bug。直接对着线上环境跑，一次评测的召回率里混着三样东西：

所以回放之后照样要跑多次、照样要算区间（第 1 周）。回放解决的是"两个模型是不是在同一个环境里比"，不是"一次就够"。

2回放什么：三层

工具响应回放最便宜：不用起被测应用，不怕它挂。代价是只能回答"录过的请求"。环境快照能回答任何请求，但要真的跑起被测系统。本章讲的主要是中间一层，第三层出现在"数据泄漏"那一节。

3录制：键、指纹、校验

1. 键：回放按什么判断"这是同一个请求"。本章的合成实验用 (页面, 视图)；Playwright 的 HAR 回放严格匹配 URL 和 HTTP 方法（POST 还匹配请求体）；VCR.py 默认匹配 method、scheme、host、port、path、query。键太严，换个参数顺序就未命中；太松，不同的请求拿到同一份响应。
2. 指纹：每条录制存一个内容哈希，算之前先去掉每次都变的字段（时间戳、请求 id）。不去掉的话，每一条都会被判成"和线上不一致"。
3. 录制校验：录到 5xx、超时就重录，或者整条丢掉。不校验的话，录制那一刻的偶发故障会被冻结进 cassette，以后每次回放都复现它。
4. 元数据：被测应用版本、录制时间、工具 schema 版本、答案表版本，和 cassette 存在一起。后面判断过期全靠它。
5. 脱敏：请求头里的 token、cookie 不要进 cassette（VCR.py 有 filter_headers）。

4新模型走了没录过的路

cassette 是用基线模型 A 跑一遍录的，里面只有 A 发过的请求。候选模型 B 更爱探索：除了每页的默认视图，还会打开排序视图（?sort=price）。B 的这些请求在 cassette 里查不到，叫未命中。三种处理办法：

本文推导（合成设定：答案表里 \(|K_\text{默认}|\) 个 Bug 在默认视图、\(|K_\text{排序}|\) 个在排序视图；模型看到 Bug 时以概率 \(d\) 认出来；线上每次请求以概率 \(f\) 返回 503；B 以概率 \(e\) 打开排序视图；cassette 里的默认视图都是 200）：

回放那一项里没有 \(e\)：B 探索得再多，回放分数也不涨。在默认设定（\(d_A = 0.80,\ d_B = 0.85,\ f = 0.1,\ e = 0.5\)，4 个 Bug 两两分布）下，B − A 的期望差距线上是 +21.375 个百分点，回放只有 +2.50。各跑 20 次的实际结果更极端：线上 B 比 A 高 20.00 个百分点，回放 B 反而低 3.75 个百分点。期望差距是 +2.50，负号是 20 次的抽样误差；多跑几次 B 会回到略高于 A，但追不回线上那 20 个百分点。

5数据泄漏：答案混进了录制

6快照过期：应用升级了，录制还是旧的

录制之后被测应用从 v1 升到 v2：p07 和 p05 排序视图的 Bug 修了，p09、p12 多了新 Bug，p02 改了文案。回放还在放 v1，它测的是一个已经不存在的应用。

• 怎么发现：只取页面、不调模型，把每条录制的指纹和线上比一遍（很便宜）。合成实验里比出 4/12 条过期：p02、p07、p09、p12。
• 常见错误：答案表更新到 v2，cassette 还是 v1。A 的回放召回从 43.75% 掉到 21.25%，每回合平均多出 0.90 个"误报"（报的是 v2 里已修好的 p07）。答案表和 cassette 必须同版本。
• 回落线上也不安全：未命中时去线上取（答案表仍是 v1），B 的 20 个回合每一个都混着 v1 录制和 v2 线上响应。

过期了就重录过期的条目（或整份重录），并把重录前后各跑一遍的分数都留着，不然分数的变化说不清是模型变了还是应用变了。

7面试要点与代码

一句话讲清楚

回放评测把工具响应录成 cassette，换模型时按键回放，环境就固定了，但模型的随机性还在，照样要跑多次。它有三个坑：新模型走了没录过的路（报告未命中率，别把未命中当成"页面打不开"直接计分）；录制里藏着答案或未来信息（扫关键词、截断时间、留出集）；被测应用升级了（指纹比对，cassette 和答案表同版本，过期就重录）。

追问准备

1. 回放和第 3 周的假模型服务器有什么区别？假模型服务器固定模型响应，测 harness；回放固定工具响应，比模型。两者可以叠加：模型和工具都录下来，就是一份完整的回归剧本。
2. 未命中率多少算高？没有通用阈值。至少做两件事：分数和未命中率一起报；在未命中为 0 的回合子集上单独算一遍分数，看结论变不变。
3. 为什么不全部回落线上？那就回到了线上评测：有环境随机性，有版本漂移，还贵。回落可以做，但要记录哪些响应来自线上、来自哪个版本。
4. SWE-bench 怎么固定环境？每道题带 base_commit，2024 年 6 月宣布评测改用 Docker 容器。即便如此，2025 年 9 月还有人报告 Agent 用 git log --all 看到了未来的修复提交：快照里留了不该留的东西。

常见错误说法

回放环境的核心（Python，合成实验里的写法）

class ReplayEnv:
    def __init__(self, cassette: Cassette, policy: str, fallback: LiveEnv | None):
        self.cas, self.policy, self.fallback = cassette, policy, fallback
        self.misses = 0
        self.fallbacks = 0

    def fetch(self, page: int, view: str) -> Response:
        entry = self.cas.entries.get((page, view))
        if entry is not None:
            return Response(entry["status"], entry["body"], "cassette")
        self.misses += 1
        if self.policy == "strict":
            raise Unreplayable(f"p{page:02d}/{view} 没有录制")
        if self.policy == "live":
            self.fallbacks += 1
            return self.fallback.fetch(page, view)
        return Response(404, "not recorded", "miss")  # policy == "error"

完整代码在 week07_回放评测与模型对比/code/replay_eval/：sim.py（环境、录制、回放、评测）、replay_eval.py（打印全部实验结果）、test_replay_eval.py（16 个单测，含公式和 20000 次模拟的核对）、har_replay.py（用 Playwright 的 HAR 录制 / 回放第 5 周的购物车页面）。

下一讲换到评测框架。

公式显示依赖 KaTeX（CDN），断网时公式会显示成原始 LaTeX 源码，交互部分不受影响。