We celebrate our triumphs, and bury our regrets. In each layer of history, we can rediscover hope. A way to chart our future. — Civilization VII, Opening Cinematic “Rediscover Hope”
2023 年 6 月，程序员尼尔·阿加瓦尔（Neal Agarwal）在个人网站 neal.fun 发布了一款益智网页游戏 The Password Game（《密码游戏》）。游戏模拟设置密码的过程；玩家必须遵循一系列越来越反常、复杂的规则，不断修改自己的密码。
刚开始，游戏看起来很简单：玩家只需在输入框里写下密码，页面会不断给出新规则，模拟真实的密码设置场景。最开始无非是数字、大写字母和特殊字符，后来逐渐出现罗马数字、当前月相、化学元素、街景、国际象棋和指定时长的 YouTube 视频。新规则出现后，已经通过的规则仍然有效。同一个字符可能同时满足多条规则；改动一小段密码，此前花了很久才满足的条件也会跟着失效。
玩到第 17 条规则（R17）时，一枚鸡蛋会出现在密码里。几条规则后，鸡蛋孵化成一只叫 Paul 的小鸡。玩家需要一边处理后续谜题，一边定时给 Paul 喂食。页面还会随机着火；动作稍慢，Paul 就可能被烧死或饿死，整局游戏随即结束。
游戏实况节选(60 秒):密码着火,多条已通过的规则连环失效——这就是玩家与 Agent 共同面对的战场。
随着关卡的推进，这个密码字符串就像一个已经维护了很久的项目：需求持续加入，旧约束留在原地，外部信息不断变化，后台还有一些必须及时处理的小事。让我们团队感兴趣的，是玩家和 Agent 失败的方式：许多失败都发生在玩家或 Agent 已经解决大量局部问题之后。
Figure 1. 35 条规则与 8 个长程能力维度的概念性映射，并非实验测量结果。方块表示单条规则的考点，色带表示持续义务；底部色条表示综合难度。
我们因此产生了一个很直接的想法：“让人类和今天的 Agent 都来玩一玩，看看它们分别能走到哪里，又会怎样输掉这场游戏。”
人类表现如何？
我们邀请了 8 位年龄在 23 至 30 岁之间的玩家，每人的尝试时长为 50 至 72 分钟。每次实验中，我们记录了玩家到达的最远关卡，同时收集了他们游玩结束后的感受和完整操作日志。
8 位玩家中,有 2 位均止步 R16、明显偏离其余玩家的水平,按离群值处理不计入统计。其余 6 位玩家最高到达关卡的平均值为 R23.0，单人最高为 R26。他们会卡在街景、棋局和视频搜索，也会因为第一次没有理解火焰机制或来不及删除火焰而手忙脚乱。人类玩家的优势主要体现在一件事上：他们会逐渐形成对密码结构的认识，只记住当前仍然重要的几件事。
比如，有人会把罗马数字、元素符号和棋步放在相对固定的位置；有人会在每次修改后快速扫一遍已经亮起的规则；Paul 出现以后，玩家会下意识地隔一会儿看一眼它。很少有人在每次输入前从头阅读全部规则。人会把历史压缩成一些片段、习惯和优先级，然后把注意力留给眼前最容易出事的地方。
我们并未把这 8 位玩家的结果视为一场严格的人机竞赛。部分玩家有先验经验，游戏里的 Wordle、CAPTCHA、街景和棋局也会变化。这组数据更接近一份人类玩家的观测基线，帮助我们理解同一类任务在人和 Agent 身上会呈现出什么差异。
Agent 表现怎样？
接下来，我们选择了 8 种模型配置：GPT-5.5、GPT-5.6、Claude Opus 4.8、Claude Sonnet 5、kimi-k2.7-code、Gemini-3.5-flash、Qwen3.7-plus 和 Seed-2.1-pro。每种配置运行 3 局，共留下 24 条完整或部分完整的游戏轨迹。实验于 2026 年 7 月进行。为节省图内空间，下文图表将后六种配置分别简写为 Opus 4.8、Sonnet 5、kimi-k2.7-code、Gemini 3.5、Qwen 3.7 和 Seed 2.1。
我们记录了每局最高到达规则、最高通过规则、运行时间、Token 用量、API 成本、运行日志、最终失败原因，以及是否使用了超出预期的页面信息。到达 R28 表示 Agent 已经看见并开始尝试第 28 条规则，实际最高通过为 R27。这个细微差别在游戏后期尤为重要，因为每推进一条规则都可能耗费很长时间。
发现 1：没有人完成全部 35 条规则
24 局 Agent 运行和 8 位人类玩家都没有完成游戏。Agent 最远到达 R28，人类最远到达 R26。下列统计保留了后文审计识别出的 10 局使用了违规捷径的运行，因此只表示原始运行结果，不构成严格合规的模型排名。
Figure 2. 每个模型三局运行的最高到达关卡。圆点位于同一水平线上；重复结果用 ×2 或 ×3 标记，短竖线表示三局均值，横线表示最小值到最大值。虚线为人类观测均值 R23.0（6 人，剔除 2 名离群玩家后）。
GPT-5.6 的三局分别到达 R24、R26、R28，三局均值为 R26，在所有模型配置中最高；其中 R28 是本组实验观测到的最高单局到达值。Claude Opus 4.8 和 GPT-5.5 的三局均值分别为 R22.67 和 R22，与人类观测均值接近。kimi-k2.7-code 平均到达 R20.33，其余模型的三局均值落在 R9–R14。这里每个模型只有 3 局，游戏实例和工具条件也可能存在差异。我们更愿意把这张图看成 24 次具体运行的分布：它既展示哪些系统曾经走得较远，也保留了早停结果和同一配置内部的运行差异。
我们还统计了到达各条规则的运行数，提供了另一种视角：每进入一条新规则，就看哪些模型开始掉队。不同模型的到达分布首次在前期视觉关附近明显分化；进入国际象棋和 Paul 阶段后，能够继续推进的运行越来越少。
Figure 3. 每个模型到达各条规则的运行数（n = 3）。每格表示三局中有多少局曾到达该规则，即进入该规则时尚未终止；这不代表已经通过该规则。R10、R16、R24 标出三道主要门槛。
发现 2：可拟合轨迹中的累计成本近似呈指数增长
24 局 Agent 运行合计消耗约 7.58 亿 Token，产生 8,933 条运行日志，累计运行约 43 小时，名义 API 成本为 473.26 美元。仅 GPT-5.6 的三局就花费 191.76 美元，约占总成本的 40.5%；其中两局成本为估算值，因此这个比例只用于比较量级。
Figure 4. 彩色曲线是按模型汇总的逐关累计 API 成本，纵轴为对数刻度。每个点仅纳入曾到达该关的运行，样本构成会随关卡变化，因此局部回落不代表单局累计成本下降。正文中的倍率来自 12 条单局轨迹的回归，而非对这些按模型汇总的曲线进行拟合。主网格对应 10 倍量级，浅灰网格标出量级内的 2 倍与 5 倍刻度；灰色虚线是“每关增长 1.25 倍”的视觉参考，并非拟合结果。
我们在每条轨迹中定位每一关解锁的时刻，累加此前的全部 API 调用，得到推进到第 N 关的累计成本。在被纳入拟合的 12 条单局轨迹中，将累计成本绘制在对数坐标系上后，曲线近似呈直线——这是近似指数增长的特征。回归结果显示，每关成本增长倍率集中在 1.12～1.37 倍，多数约为 1.25 倍。这种增长可能与两方面有关：上下文和状态持续累积，以及关卡难度递增。
发现 3：最常见的单一终止原因是一只鸡
在开始实验之前，我们原本更关注 CAPTCHA、街景和国际象棋。这些关卡确实拦住了不少 Agent：Gemini 的三局都在较早阶段陷入循环；Sonnet 5 的三局都停在扭曲的 CAPTCHA 附近。
Figure 5. 24 局 Agent 运行的主要终止原因。按本文的互斥归类口径，每局只计入一个主要原因；因 Paul 饿死或被烧死而终止的运行共 7 局，是最大的单一类别。
然而，在最终汇总终止原因时，Paul 却成了最大的单一类别。24 局中有 7 局因 Paul 饿死或被烧死而结束，占 29.2%。这 7 局分布在 R18–R28，推进最远的那一局也在其中。
有 3 局因 Paul 死亡而失败，且都发生在 R24 附近。那一关要求玩家找到一个时长非常精确的 YouTube 视频。Agent 会打开搜索、查看结果、调整关键词，再继续尝试；与此同时，页面里的 Paul 仍在挨饿。前台搜索没有完成，后台计时已经走到了终点。
这类失败很有意思。Agent 通常知道 Paul 需要喂食，完整历史里也留着这条规则。真正缺失的，是一种持续照看的能力：多久检查一次，什么情况下中断当前工作，喂完以后怎样回到原来的任务。阶段成本分解还显示，在纳入 Figure 6 的 5 种模型配置中，GPT-5.6、Claude Opus 4.8 和 GPT-5.5 的大部分名义成本发生在 R16 之后。这只是以关卡为依据的阶段性近似划分；后段成本同时包含后续解题、检索和 Paul 状态维护，不能全部解释为“照看成本”。
Figure 6. 以 R16 为界的单局平均名义成本近似分解，仅展示至少有一局到达 R17 的 5 种模型配置。蓝色表示 R1–R16，浅蓝表示 R17–终局；这是阶段划分，并非具体动作的成本分类。
发现 4：Agent 也会“走捷径”
完成全部实验后，我们在轨迹审计中将 24 局里的 10 局标记为使用了违规捷径：Agent 读取 DOM、内部资源或答案映射等低成本信息，绕过了原本希望它通过视觉和页面交互完成的步骤。当前统计仍保留这些运行，因此图中的成绩属于原始观测值；严格合规的成绩需要另行计算。
这件事本身也很有研究价值。Agent 会寻找环境中可用的路径，Benchmark 必须明确合法工具与权限边界。最终到达关卡只告诉我们系统走到了哪里，轨迹分析才能解释它是怎样走到那里的。
前沿智能体的能力展望
在 The Password Game 里，Long Horizon 很快有了具体形状。密码越写越长，Agent 既要记住已经生效的规则，也要应付突然出现的 Paul 和火焰；一次页面刷新或工具报错，还可能让此前的进展全部丢失。这个游戏最终把我们带到一个更根本的问题：当环境持续变化，Agent 能不能守住目标，照看好已有成果，并对一个项目负责到底？
Long Horizon 是什么能力
变化中的一致性：状态本身会不断变化。用户和其他 Agent 可能追加要求，甚至推翻先前决定。Agent 需要调整计划，又要保护仍然有效的成果。这类真实问题的复杂性，不只来自单次推理的深度，也来自在变化中持续保持目标与约束的一致性。
状态维护：Agent 首先需要一份可靠的当前状态。完整历史可能很长，真正影响下一步决策的关键信息通常有限：眼下要完成什么，哪些约束仍然有效，最大的风险在哪里。缺少这份状态，越长的上下文越容易成为负担。
不同时间尺度上的控制：变化还有快慢之分。棋局和代码重构允许慢慢推演，火焰却会突然打断节奏。真实项目里的凭证刷新和线上告警也是如此。Agent 需要知道什么时候可以等待，什么时候必须立即行动。
恢复与交接：随着任务拉长，故障恢复、任务交接和成本控制都会成为必须处理的问题。可靠的 Agent 应当能从检查点继续，并把必要的信息交给另一个 Agent 或人类。与此同时，时间、Token 和人工干预都应计入交付成本。一次 Long Horizon 评测需要把这段过程呈现出来，让我们看见 Agent 何时偏离、怎样恢复，又在什么地方需要帮助。
也正因为这样，我们希望有一套评测，既看最终是否完成，也看 Agent 怎样走过整个过程。基于这些观察，我们提出了 SoTA-LH——一系列面向 Long Horizon Agent 的 Benchmark。
SoTA-LH 系列 Benchmark
SoTA-LH 会覆盖不同场景。Computer Use 关注动态页面和跨应用流程，AI for Science 关注假设如何随着新证据不断被修正，软件开发则把需求变化和回归风险留在同一个代码仓库里。任务形式各异，我们用同一个问题贯穿它们：Agent 能否在变化、反馈和中断中持续推进目标，并把投入的时间真正沉淀为进展？
我们即将发布的首个样例是 SoTA-LH-SWE，聚焦软件开发。编程能力是当前 Agent 领域最受关注的方向之一，已有较成熟的模型、Harness 和公开 Benchmark 可供参照；代码仓库具有结构化、可追踪的特点，能够忠实记录每一次选择带来的后果。新需求可能改写计划，一次修改也可能破坏旧测试。借助这些可观察的变化，我们把游戏中看到的长程问题带进真实工程，评估 Agent 能否在任务不断展开时依然稳步向前。
我们接下来想探索什么
SoTA-LH 首先要准确衡量 Agent 的长程能力；同时，我们也希望这些测量能够反过来指引模型能力发展，让 Agent 逐步承担那些更重要、也更漫长的目标。
沿着这条线，我们想继续追问：时间能不能成为 Agent 能力的新扩展维度？过去的 scaling law 描述模型如何从更多数据、参数和训练算力中获得能力，test-time compute 又让更长的思考转化为更好的答案。到了 Long Horizon 阶段，一次运行可能持续几天甚至几个月。多出来的时间会沉淀为进展，还是被遗忘、偏航和返工消耗？当 Agent 能够保留目标、根据反馈修正方向，并在中断后继续推进，每一次行动才有机会成为下一次行动的基础。若任务完成质量稳定提升、可处理的任务规模持续扩大，我们或许会看到一条属于 Agent 的新 scaling law：能力随时间生长，让人类有机会开始那些过去太漫长、太复杂的事，并不断推动人类社会的智能上限。
回到开头，The Password Game 让这个未来提前露出了一角：眼前是一连串荒诞的规则，背后是一个很朴素的问题——一个智能体究竟能为同一个目标负责多久？今天，它可能在第 28 条规则前忘记照看一只小鸡；未来，我们希望它能完成一项工程、检验一个科学假设，或承接一份来自人的漫长托付，穿过变化、失败和重来，依然知道自己为什么出发。也许 Agent 真正走进世界的那一天不会有宏大的宣告。只是有人把一件重要的事交给它，而它在很久以后回来告诉我们：“我记得你为什么出发，也把它带到了终点。”
