测试 Agent 怎么记住已经探索过的页面？

1记忆分几种：按"活多久"和按"存什么"

按生命周期分，一个 LLM Agent 的记忆有三层：

第 2 周「Agent 到底是什么？一个 while 循环」说过，API 是无状态的，messages 列表就是全部状态；第 3 周「上下文快满了，Codex 怎么办？」讲了压缩怎么做。这一讲讲第三层，以及三层之间怎么配合。

按内容分，常引用的是 CoALA 框架（Sumers、Yao、Narasimhan、Griffiths，arXiv 2309.02427，2023；TMLR 2024）。它借用了认知科学和 Soar 认知架构里的划分：一个短期的工作记忆，加三种长期记忆：

2三种常见实现

3写入策略：什么时候写、去重、冲突、遗忘

1. 什么时候写。结构化状态由代码在每一步自动写，不靠模型自觉；自由文本笔记适合在里程碑（探索完一个模块）和会话结束前写一次交接。MemGPT 的做法是上下文用到一个警戒线（论文举例 70%）时插一条"内存压力"系统消息，提醒模型把重要内容存出去。
2. 去重。Bug 先算指纹再写，例如 (路由, 错误类型, 归一化后的错误信息)。只按标题文本比较，"保存失败"和"点击保存没反应"会被当成两个 Bug。
3. 冲突更新。新信息和旧信息矛盾时，覆盖旧条目并记下时间和版本，不要两条并存。MemGPT 论文图 4（arXiv v2）的例子是把工作上下文中的"男友叫 James"替换成"前男友叫 James"；BugHunt 里是"Bug #12 在 v1.3 已修复"替换"Bug #12 未修复"。
4. 遗忘。三种机制：容量上限加淘汰策略（FIFO、LRU、随机）；按时间过期（Claude memory tool 的文档建议定期删除长期没被访问的记忆文件）；按版本失效（应用发新版后，"已测过"要降级成"待复测"）。

4读取策略：每轮注入、按需检索、交给模型的工具

按需检索怎么打分，一个常被引用的例子是 Generative Agents（Park 等，arXiv 2304.03442，2023）：每条记忆按新近度（距上次被检索的游戏小时数做指数衰减，衰减因子 0.995）、重要度（写入时让模型打 1～10 分）、相关度（嵌入余弦相似度）三项各自 min-max 归一化后加权求和，论文里三个权重都取 1，按分数从高到低放进上下文，直到放不下。

Claude 的 memory tool

Claude API 提供一个 Anthropic 定义的客户端工具：{"type": "memory_20250818", "name": "memory"}。要点（来自官方文档）：

• 客户端执行：模型只发出文件操作请求，存储由你的代码实现，存在哪（本地文件、数据库、云存储）你说了算。
• 命令有 view、create、str_replace、insert、delete、rename，路径都在 /memories 下。
• 工具本身不需要 beta header；Python SDK 的辅助类（BetaAbstractMemoryTool、BetaLocalFilesystemMemoryTool）和 tool runner 在 beta 命名空间里。
• 请求里带了这个工具，API 会自动往 system prompt 里加一段指令，开头是 IMPORTANT: ALWAYS VIEW YOUR MEMORY DIRECTORY BEFORE DOING ANYTHING ELSE.，还有一句 ASSUME INTERRUPTION：上下文随时可能被重置，没记进记忆目录的进度可能丢。
• 安全由你负责：每条命令的路径都要校验，防止 /memories/../../secrets.env 这类路径穿越。

它属于"工具化"读取：读不读、写什么由模型决定。测试 Agent 里，已访问集合这种必须精确的状态，更稳妥的做法是 harness 自己维护、每轮注入；memory tool 适合存模型自己总结的经验和跨会话的交接笔记。

5MemGPT：把上下文当内存，外部存储当磁盘

MemGPT（Packer 等，"MemGPT: Towards LLMs as Operating Systems"，arXiv 2310.08560，2023）借用操作系统的分层内存：

上下文溢出的处理：提示 token 超过"警告阈值"（论文举例为窗口的 70%）时，插入一条内存压力警告，让模型把重要信息存进工作上下文或 archival storage；超过"刷新阈值"（举例 100%）时，队列管理器挤出一部分消息（举例为窗口的 50%），用旧摘要和被挤出的消息生成新的递归摘要，放在队列第一条。被挤出的消息不在上下文里了，但会一直保存在 recall storage，可以用函数调用查回来。

6记忆带来的三个风险

记忆投毒不是假想。AgentPoison（Chen 等，arXiv 2407.12784，2024）对带长期记忆或 RAG 知识库的 Agent 做后门攻击，摘要报告：投毒比例低于 0.1%，查询里带攻击者优化的触发词时，平均攻击成功率超过 80%，对正常输入的影响不到 1%。它的威胁模型是攻击者直接往记忆或知识库里注入样本，和上表 BugHunt 的例子（Agent 自己把页面文本写进记忆）不是一回事，后者是投毒的另一条入口。和一次性的 prompt injection 相比，投毒进记忆的内容会在以后每个会话里生效。第 8 周讲间接 prompt injection 时还会回到这里。

7评测：有记忆到底好多少

同一个站点、30 步预算、seed 1000～1199 各跑一次（不限容量），配套脚本 code/agent_memory_sim.py 的真实输出：

配对差值（同一 seed，有记忆 − 无记忆）：已访问集合 +29.3 个百分点 [+27.9, +30.6]，加上链接表 +45.1 [+44.0, +46.1]。区间是正态近似 mean ± 1.96·s/√n，和配对 bootstrap 的结果在 0.1 个百分点以内。配对几乎没有收窄区间（已访问集合配对半宽 1.30、不配对 1.39 个百分点；加链接表 1.08 和 1.10），区间远离 0 是因为效果大，不是因为配对。

只看每步成本会得出相反的结论：有记忆每步多付约 500 token。但要找全 6 个 Bug，无记忆的中位数要 520.5 步、平均约 192 万 token；加链接表的记忆中位数 32 步、平均约 11 万 token，是前者的约 5.8%。该比的是"每找到一个 Bug 花多少"，不是"每步花多少"。

对比实验怎么设计

1. 任务集：固定的站点快照 × 起始页 × 账号状态，每个组合是一个任务。两种配置跑同一批任务。
2. 指标：探索覆盖率、重复访问率、Bug 召回、重复报 Bug 率、找全 Bug 的步数和 token、每个 Bug 的成本。
3. 配对：配对单位是任务。每个任务跑多次时，先算每个任务的平均差，再在任务上重抽 bootstrap，不要把所有运行摊平（第 1 周「新 prompt 从 82% 涨到 86%，是真的变好了吗？」）。
4. 消融：只开已访问集合、只开 Bug 列表、都开，分别量各自贡献多少。
5. 记忆专项用例：会话 1 探索一半中断，会话 2 能不能接着走而不重复；换一个应用版本，看"已测过"会不会被复测；在页面里放一段投毒文本，看它会不会进记忆。

8面试要点与代码

一句话讲清楚

Agent 的记忆分三层：上下文窗口是会话内的工作记忆，压缩摘要让它撑得更久，跨会话的长期记忆存在窗口外、按需读回。测试 Agent 里最关键的是两份结构化状态：已访问页面集合和已报 Bug 指纹表，由 harness 维护、每轮注入；经验类内容用文本笔记或 memory tool，历史 Bug 库用向量检索找候选。评测时按任务配对比较有 / 无记忆的覆盖率、重复访问、重复报 Bug 和每个 Bug 的成本，并专门测陈旧、投毒和跨会话续跑。

追问准备

1. 上下文窗口都 1M 了，还要记忆吗？要。一是跨会话：窗口在会话结束时就没了。二是成本：每轮重发全部历史，token 和轮数平方增长（第 2 周）。三是长上下文里的信息不一定被用好，Liu 等人的"Lost in the Middle"（arXiv 2307.03172）发现相关信息放在长上下文中间时，模型表现明显差于放在开头或结尾。
2. 记忆容量有限时，淘汰策略怎么选？先量再定。这个站点上，容量 12 条时随机淘汰比 FIFO 高 3.8 个百分点 [+2.7, +4.8]。一个可能的解释（没有单独验证）：Agent 沿差不多固定的路线绕圈、圈比容量大时，FIFO 和 LRU 总是先忘掉最早写入或最久没用的那批，而那批往往正是接下来又要经过的，和缓存里 LRU 遇到大循环扫描时的退化类似；随机淘汰打破了这种规律。换一个站点结论可能不同。
3. 记忆怎么测？写入：同一个 Bug 报两次，断言列表里只有一条；冲突：标"已修复"后断言旧状态被覆盖。读取：新会话开始时断言 Agent 先读了记忆。失效：换版本后断言"已测过"变成"待复测"。安全：路径穿越、投毒文本、敏感字段，各一条用例。

常见错误说法

核心代码（Python，只用标准库）

class Memory:
    """已访问集合（每条记一页和它的链接表），可设容量和遗忘策略。"""

    def __init__(self, cap, policy, rnd):
        self.cap, self.policy, self.rnd, self.items = cap, policy, rnd, {}

    def write(self, page):
        if page in self.items:
            if self.policy == "lru":  # 再次访问算"用过"，挪到最新
                del self.items[page]
                self.items[page] = LINKS[page]
            return
        if self.cap is not None and len(self.items) >= self.cap:
            keys = list(self.items)
            victim = keys[math.floor(self.rnd() * len(keys))] if self.policy == "random" else keys[0]
            del self.items[victim]
        self.items[page] = LINKS[page]


def next_page(strategy, cur, mem, rnd):
    links = LINKS[cur]
    if strategy == "random":
        return pick(rnd, links)
    fresh = [q for q in links if q not in mem.items]
    if fresh:
        return pick(rnd, fresh)
    if strategy == "frontier":  # 沿记住的链接 BFS，找最近的"记忆里没有"的页面
        prev, queue = {cur: None}, [cur]
        while queue:
            p = queue.pop(0)
            if p != cur and p not in mem.items:
                while prev[p] != cur:
                    p = prev[p]
                return p
            for q in (LINKS[p] if p == cur else mem.items.get(p, [])):
                if q not in prev:
                    prev[q] = p
                    queue.append(q)
        return None  # 记得的页面都访问过了：Agent 认为探索完成，主动停
    return pick(rnd, links)

完整脚本（站点图、指标、配对区间、容量扫描）见 code/agent_memory_sim.py。

Claude memory tool 最小用法（官方文档示例）

import anthropic
from anthropic.tools import BetaLocalFilesystemMemoryTool

client = anthropic.Anthropic()
memory = BetaLocalFilesystemMemoryTool(base_path="./memory")

runner = client.beta.messages.tool_runner(
    model="claude-opus-5-5",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Remember that customer Acme Corp prefers email follow-ups."}],
    tools=[memory],
)
final_message = runner.until_done()
print(final_message.content)