LLM作为验证器：一种通用验证框架

Shulu Li

Pranav Atreya

Yuejiang Liu

Yixing Jiang

Chelsea Finn

Marco Pavone

Ion Stoica

Azalia Mirhoseini

Stanford University UC Berkeley NVIDIA Research

通讯作者：Jacky Kwok <jackykwok@stanford.edu>

摘要

图 1：整体性能结果。我们提出的框架 LLM-as-a-Verifier 在编程、机器人和医学领域均达到了最先进的性能：Terminal-Bench V2（86.5%）、SWE-Bench Verified（78.2%）、RoboRewardBench（87.4%）以及 MedAgentBench（73.3%）。

摘要：扩展预训练、后训练与测试时计算已成为提升大语言模型（LLM）能力的核心范式。在本工作中，我们将验证——即判断解决方案正确性的能力——识别为一个新的扩展轴。为解锁这一能力并证明其有效性，我们提出了 LLM-as-a-Verifier，一个通用验证框架，无需额外训练即可为智能体任务提供细粒度反馈。与提示 LLM 为候选解决方案生成离散评分的标准 LM 评判器不同，LLM-as-a-Verifier 对评分 token logits 的分布求期望，从而生成连续评分。这种概率化表述大幅降低了比较复杂解决方案时的平局率，并使验证能够沿多个维度扩展：（1）评分粒度，（2）重复评估，（3）标准分解。特别地，我们表明扩展评分粒度能更好地区分正负解决方案，从而实现更校准的比较。此外，扩展重复评估和标准分解通过降低方差与复杂度，持续带来验证准确率的额外增益。为使验证扩展切实可行，我们进一步引入一种成本高效的排序算法，利用验证器连续评分导出的偏好概率，在候选方案中选出最佳解决方案。LLM-as-a-Verifier 在编程、机器人和医学领域均有效。它在 Terminal-Bench V2（86.5%）、SWE-Bench Verified（78.2%）、RoboRewardBench（87.4%）和 MedAgentBench（73.3%）上取得了最先进的性能。除验证之外，LLM-as-a-Verifier 产生的细粒度信号还可作为估计任务进度的代理。我们为 Claude Code 和 Codex 构建了扩展，使开发者能够监控并改进自己的智能体系统。最后，我们表明 LLM-as-a-Verifier 可作为 RL 的稠密奖励信号，在机器人和数学推理基准上提升 SAC 和 GRPO 的样本效率。

图2：多种模态，众多应用，一个统一的验证框架。我们提出 LLM-as-a-Verifier，一个通用框架，无需额外训练即可为任意模态提供细粒度反馈。通过利用评分 token logits 的完整分布，我们的方法捕捉了评估不确定性，并使验证能够沿三个维度扩展：评分粒度、重复评估和标准分解。由此产生的细粒度反馈可用于测试时扩展、进度跟踪和强化学习。

1 引言

近年来，大型语言模型（LLM）的进展已确立扩展（scaling）作为提升其能力的核心范式。性能的提升由多个轴向上的扩展驱动，包括预训练数据与算力、后训练优化以及测试时推理 [1, 2, 3]。

图3：大型语言模型的扩展范式。

然而，尽管生成从这些扩展范式中获益显著，验证——即判断解决方案质量或正确性的能力——却未经历同等程度的扩展。在本工作中，我们认为验证本身构成一个独特且尚未充分探索的扩展轴。与受益于成熟扩展律的生成不同，当前系统中的验证仍从根本上受限。具体而言，标准的 LM 评判器将评分分布坍缩为粗粒度的离散分数 [4, 5]，导致评分并列且区分度差，而学习型奖励模型受限于训练数据，往往难以跨领域泛化 [6, 7]。这些局限阻碍了验证的可扩展性，使其无法进一步提升性能。

图 4：验证扩展。我们发现，验证准确率在多个维度上随规模扩大而持续提升：(1) 评分 token 的粒度，(2) 重复评估的次数，以及 (3) 评估标准的分解。验证准确率以验证器的成对准确率来衡量，即在 Terminal-Bench V2 上，对于同一任务，验证器给真实成功解的评分高于失败解的评分。

为此，我们提出 LLM-as-a-Verifier，一个通用验证框架，无需额外训练即可提供稠密且细粒度的反馈。传统方法提示 LLM 在语言空间内生成离散分数 [4]，与之不同，LLM-as-a-Verifier 通过对评分 token logits 分布求期望来估计候选解的质量。在图 4 中，我们表明这种概率化表述解锁了验证的多个扩展轴。我们首先证明，扩大所提取 token logits 的数量能持续降低比较复杂解时的平局率，并改善正负解之间的区分度。我们观察到，单次评估或单一标准可能存在偏差或噪声。为缓解这一问题，我们沿另外两个维度扩展验证——重复评估（降低方差）与标准分解（减少提示偏差）——从而获得更高的验证准确率。我们在受控预算下量化这些扩展收益，并在第 4 节将 LLM-as-a-Verifier 与离散 LM 评判基线进行比较。为使验证扩展切实可行，我们进一步提出一种成本高效的排序算法，利用验证器连续分数导出的偏好概率，在候选解中选出最佳解。

有趣的是，我们发现 LLM-as-a-Verifier 产生的细粒度信号使得对整个交互轨迹的评估成为可能，而不仅仅像 PRMs 和 ORMs [7, 8] 在智能体任务中那样只评估中间步骤或最终结果。当作为轨迹奖励模型与我们的高性价比排序算法结合使用时，LLM-as-a-Verifier 在编码、机器人和医疗领域的挑战性基准测试中超越了前沿模型。它在 Terminal-Bench V2（86.5%）、SWE-Bench Verified（78.2%）、RoboRewardBench（87.4% 轨迹偏好准确率）和 MedAgentBench（73.3%）上达到了最先进的性能。

除了作为验证器的角色之外，我们的方法还可以作为估计任务进度的代理。值得注意的是，我们观察到步骤的时间顺序与验证器分数之间存在强相关性（图 8）。为了将这些能力落地，我们为 Claude Code 和 Codex 提供了扩展，使用户能够监控任务进度，并利用 LLM-as-a-Verifier 的优势来改进自己的智能体系统。在机器人领域，我们的方法超越了最先进的奖励模型，包括 Robometer [9]、TOPReward [10] 和 RoboReward [11]，实现了 0.966 的平均值序相关性（VOC）。总体而言，LLM-as-a-Verifier 提供了一种可扩展的机制，用于改进真实环境中自主智能体和机器人的评估与监控。

此外，我们证明了将 LLM-as-a-Verifier 用作密集奖励信号可以提高离策略和在策略强化学习算法的样本效率。在 LIBERO [12] 上，当使用 DSRL-SAC [13] 微调 \pi_{0} 策略时，LLM-as-a-Verifier 实现了比稀疏奖励基线约 1.8\times 更高的样本效率，同时达到了更高的最终成功率。在 MATH 推理基准上，当使用 GRPO [14] 微调 Qwen3-8B 时，它实现了约 1.1\times 更高的样本效率。

总之，我们的贡献如下：

2 预备知识

我们将智能体与环境的交互建模为有限时域马尔可夫决策过程（MDP）\mathcal{M}=(\mathcal{C},\mathcal{S},\mathcal{A},P,R,H)，其中 \mathcal{C} 表示上下文空间，\mathcal{S} 为状态空间，\mathcal{A} 为动作空间，P:\mathcal{C}\times\mathcal{S}\times\mathcal{A}\rightarrow\Delta(\mathcal{S}) 为转移动态，R:\mathcal{C}\times\mathcal{S}\times\mathcal{A}\rightarrow\mathbb{R} 为奖励函数，H\in\mathbb{N}^{+} 为时域。在每个回合开始时，采样一个任务提示 x\in\mathcal{C}，智能体从初始状态 s_{1}\in\mathcal{S} 开始。在每个时间步 t\in[1,H]，智能体观测当前状态 s_{t}，选择动作 a_{t}\in\mathcal{A}，并转移到下一状态 s_{t+1}\sim P(\cdot\mid x,s_{t},a_{t})。在基于 LLM 的智能体中，状态对应于先前的交互历史，动作对应于 token 序列，例如自然语言回复、代码编辑和工具调用。轨迹定义为 \tau=(s_{1},a_{1},s_{2},a_{2},\dots,s_{H},a_{H})。我们假设可以访问一个由 \theta 参数化的语言模型 \pi_{\theta}:\mathcal{C}\times\mathcal{S}\rightarrow\Delta(\mathcal{A})，动作从中自回归地采样。奖励模型为动作或轨迹分配一个标量分数。传统方法依赖于提示 LLM 在语言空间中生成离散分数。形式上，此类奖励模型可以写为 R_{\text{LM}}(x,\tau)\in\{1,\dots,G\}，其中分数即为生成的 token。

3 提出的方法：LLM-as-a-Verifier

3.1 动机

图 5：Oracle Pass@K 在 Terminal-Bench V2 上达到 98.9%。

大多数模型其实已经具备解决许多任务的能力：在反复执行时，它们往往至少能产生一次正确的解。如图 5（左）所示，在 Terminal-Bench 上，假设有一个总能挑出最优轨迹的 oracle 验证器，已解决任务的比例会随着采样轨迹数量的增加而持续上升。在这一设定下，当把整个 Terminal-Bench V2 排行榜上的轨迹汇聚在一起时，成功率可达 98.9%，实际上几乎解决了整个基准测试。然而，要兑现这一潜力，需要一个能够可靠区分正确与错误轨迹的验证器。虽然标准 LM 评判器 [4] 可以用作验证器，但它们无法提供足够细粒度的反馈。具体而言，它们让模型输出一个离散的分数 token，并选取概率最高的 token 作为最终分数，从而将完整的评分分布压缩为单一数值。这导致评估在本质上过于粗糙。在比较复杂解法时，标准 LM 评判器常常给出相同分数，造成并列，无法对它们加以区分。因此，粗糙的评分在 Terminal-Bench 上引发了很高的并列率（27%），不同的轨迹常常坍缩到同一分数，如图 7 所示。人们也可以转而训练一个奖励模型 [15]，但这类方法受限于其训练数据，往往难以跨领域泛化。这些局限促使我们需要一个可泛化的框架，以提供细粒度的验证信号。

3.2 方法

细粒度奖励估计。顾名思义，评判者（judge）是形成总体意见并作出裁定的一方，而验证者（verifier）则是确认某事物的真实性或正确性、需要更细致评估的一方。为此，我们引入 LLM-as-a-Verifier，一种概率验证框架，通过扩展评分粒度、重复评估和准则分解来提供细粒度反馈。

令 V_{\text{score}}=\{v_{1},\ldots,v_{G}\} 表示代表离散评分等级的有序 token 集合。给定任务提示 x、语言模型 p_{\theta}、准则 c 以及两条候选轨迹 \tau_{i} 和 \tau_{j}，我们构造评分提示，并通过以下提示从 <score_{A}> 和 <score_{B}> 标签中提取 logprobs，从而获得它们的条件分布 p_{\theta}(v\mid x,c,\tau_{i}) 和 p_{\theta}(v\mid x,c,\tau_{j})：

You are an expert [domain] reviewer. You will see a task description and two trajectories.

Evaluation Criteria: [domain specific criteria]

Task: {task prompt}

Trajectory A: {A} Trajectory B: {B}

Carefully analyze each trajectory, then provide your final scores:

<score_A> INTEGER_1_TO_20 </score_A> <score_B> INTEGER_1_TO_20 </score_B>

Rating Rules: Rate correctness on a 1--20 scale based on evaluation criteria (1 = incorrect, 10 = borderline, 20 = correct)

注意：我们使用基于字母的评分标度而非数字，以便进行 logprob 提取以实现粒度缩放。

我们没有将每个分布压缩为单个离散分数，而是将轨迹的奖励近似为：

(3.1)

其中 C 是评估标准的数量，K 是重复验证的次数，G 是评分 token 的数量（粒度级别），p_{\theta}(v_{g}\mid x,c,\tau) 是模型 \theta 赋予评分 token v_{g} 的概率，而 \phi(v_{g}) 将每个评分 token 映射为一个标量值。

我们首先通过线性映射 R\mapsto(R-\phi_{\min})/(\phi_{\max}-\phi_{\min}) 将 R(x,\tau)\in[0,1] 归一化。然后，我们使用 Bradley–Terry 模型将这些连续奖励转换为成对偏好，将 R(x,\tau) 视为轨迹 \tau 的潜在强度：

(3.2)

图 6：概率枢轴锦标赛。一个五阶段流水线，用于在受限验证预算下从 N 个候选中选出最佳者。(1) 候选：待排序的候选池 \{\tau_{1},\dots,\tau_{N}\}。(2) 环形轮转：一个随机哈密顿回路对 N 个相邻配对进行评分，使每个候选都各在“A”槽和“B”槽中出现一次，从而抵消模型的位置偏差。(3) 枢轴选择：候选按其环形轮转得分 w_{(i)} 排序，前 k 个候选构成枢轴集 \mathcal{P}。(4) 枢轴锦标赛：每个非枢轴对枢轴以及枢轴对枢轴的配对均通过式 3.2 进行评分，将预算集中在不确定的头部候选上，并将成本从 \mathcal{O}(N^{2}) 降至 \mathcal{O}(Nk)。(5) 选择：将比较结果聚合为胜场质量 w_{i} 和计数 c_{i}，返回归一化 w_{i}/c_{i} 最高的候选。

概率枢轴锦标赛。

为了在 N 个候选中选出最佳轨迹，我们可以运行一轮循环赛，对所有 \binom{N}{2} 个配对进行评分并累计胜场

使用式 3.2 的偏好概率。然而，这样的安排需要 \mathcal{O}(N^{2}) 次成对验证，随着 N 增大，验证成本会迅速占据主导。我们提出一种预算高效的替代方案——概率枢轴锦标赛（Probabilistic Pivot Tournament, PPT），如图 6 所示，其中每个候选仅与一小组 k\!\ll\!N 个枢轴进行比较，从而将预算从 \mathcal{O}(N^{2}) 降至 \mathcal{O}(Nk)。关键在于，枢轴的选择决定了节省下来的预算是否花得其所：任意的锚点会把验证浪费在明显较弱的候选上。因此，我们引入一个基于环的枢轴选择步骤，它既能消除验证器的位置偏差，又能将剩余预算集中在不确定的顶尖候选上。PPT 分三步进行：

为了严格评估排序算法并衡量其在大规模候选池上的性能，我们使用 Terminus-2 测试框架为每个任务精心构建了 20 条轨迹，并在该设定下对所有方法进行基准测试。表 9 刻画了 PPT 的预算–准确率权衡，表明我们的方法优于先前方法（例如 V1 [5]），同时所需的比较次数更少。值得注意的是，随着枢轴数量的增加，性能持续提升。更多消融实验见附录 B.2。

4 验证扩展

公式 3.1 展示了验证可以在三个相互独立的维度上进行扩展：评分 token 的粒度 G、重复评估的次数 K，以及评估标准的数量 C。每个维度针对奖励估计中不同来源的误差，我们发现这三者构成了互补的调节杠杆：提高粒度能改善候选解之间的分数区分度，重复评估能平均掉单次验证过程中的偏差，而标准分解则能捕捉轨迹质量的不同侧面。在所有扩展实验中，我们使用 Gemini 2.5 Flash [16] 作为验证器，它允许我们对每个评分 token 提取最多 20 个 top logprobs。在图 4 中，我们展示了在 Terminal-Bench 2.0 上的验证准确率在三个维度上均有提升：从 G{=}1 时的 73.1\% 提升至 G{=}20 时的 77.5\%，从 K{=}1 时的 74.7\% 提升至 K{=}16 时的 77.4\%，以及从任意单一标准下的 75.2\%–76.4\% 提升至三项标准集成后的 78.3\%。我们在 Terminal-Bench 中随机采样的 200 条轨迹上测量了成对验证准确率，这些轨迹涵盖了多种 agent harness。每个维度都是实践者可以根据下游应用的延迟预算进行调节的旋钮。虽然我们的主要实验使用的是可访问 logprob 的模型，但附录 B.6 表明，我们的框架同样兼容那些不暴露 token 级对数概率的前沿模型，只需通过一个简单的两阶段变通方法即可实现。

4.1 评分 Token 粒度

标准 LM 评判器会将评分分布坍缩到单一最高概率 token，从而产生一个离散奖励 R_{\text{LM}}(t,\tau)\in\{1,\ldots,G\}，其分辨率为 1/G。直观上，扩大有序 token 集合 V_{\text{score}} 并不会为验证器提供关于轨迹的任何新信息。然而，它为解码器提供了一个更精细的空间来投影模型的内部信念，使得原本会被舍入到同一整数的相近信念现在被映射为连续奖励。

(4.1)

表 1：信噪比（SNR）。（左）SNR 衡量验证器将正确轨迹（s_{c}）与错误轨迹（s_{i}）区分开的可靠程度（式 4.1）。（右）随着评分 token 数量 G 的增加，SNR 增大，表明评分区分度得到了更好的校准。

信噪比。

为厘清更细粒度为何能提升验证效果，我们将正确轨迹（s_{c}）与错误轨迹（s_{i}）之间的成对得分差 \Delta=s_{c}-s_{i} 分解为信号与噪声两部分。我们按式 4.1（表 1 左）定义信噪比，其中 \mathbb{E}(s_{c}-s_{i}) 刻画验证器在多大程度上更偏好正确轨迹而非错误轨迹（信号强度），分母 \mathrm{Var}(s_{c}-s_{i}) 则刻画这种偏好在各对之间有多不一致（噪声）。成对验证准确率是 \mathrm{SNR}(G) 的单调函数：在样本量固定时，标准化差距越大，意味着 s_{c}>s_{i} 的概率越高。实证上，我们发现 \mathrm{SNR}(G) 在 Terminal-Bench 上从 G{=}1 时的 0.775 上升到 G{=}20 时的 0.799（表 1）。因此，更细粒度的 token 产生校准更好的得分，能更可靠地将正确轨迹与错误轨迹区分开来，进而将成对准确率从 73.1\% 提升到 77.5\%。

案例研究：query-optimize。

为了具体说明将粒度扩展到 G{=}20 以及我们的概率化表述如何锐化验证器的信号，我们分析 Terminal-Bench V2 上 query-optimize 任务中一对具有代表性的轨迹，该轨迹由 Claude Opus 4.5 在 OpenHands 框架下生成，并由 Gemini 2.5 Flash 评分。在此任务中，智能体收到一个针对数据库的慢 SQL 查询，并被要求生成一个等价的优化版本。两条候选轨迹生成的查询都能更快执行，但它们在验证流程上存在关键差异。正确的轨迹会等待整整 5 分钟，让原始查询在规范数据库上完成，并与优化后的输出进行直接 diff。相比之下，失败的轨迹从未在数据库上验证等价性，而是新建了一个数据库。如附录 B.4 中的推理轨迹所示，Gemini 2.5 Flash 能可靠地识别出这一失败模式，但用带有程度限定和模糊措辞的语言来表达（例如“稍微更干净”“略微更直接”），仿佛这一差异微不足道。在 100 次重复评估中，采用 1–5 量表的标准 LM 评判器会将这些细微评估压缩为离散分数（表 2），在 100 次运行中有 88 次产生并列（例如 5 对 5），因而无法有意义地区分候选者。对同一 5 点分布取期望则完全消除了并列——在 69 次运行中将正确轨迹排在更高位置——而将粒度扩展到 G{=}20 进一步锐化了信号，使 LLM-as-a-Verifier 在 100 次运行中有 77 次将正确轨迹严格排在更高位置。

表 2：在 query-optimize 上评判者与验证器的对比。在超过 100 次重复评估中，我们统计正确轨迹得分高于（s_{c}{>}s_{i}）、等于（s_{c}{=}s_{i}）或低于（s_{c}{<}s_{i}）错误轨迹的次数。离散的 1–5 评判者在 88/100 次评估中产生并列。在同一 1–5 尺度上取期望消除了并列，并在 69/100 次评估中正确地对轨迹进行了排序。将评分粒度提高到 G{=}20 进一步改善了区分度，在 77/100 次评估中正确地对轨迹进行了排序。

4.2 重复评估

粒度提升了单次前向传播内的评分校准，但并未解决第二个误差来源：验证器在单次评估上的方差。即便在较高的 G 下，单次评估 R^{(k)}(x,\tau) 仍可能被提示中的虚假特征或验证器在特定轨迹上的失效模式所扭曲。对 K 次独立评估取平均 \frac{1}{K}\sum_{k=1}^{K}R^{(k)}(x,\tau) 是对潜在期望奖励的蒙特卡洛估计；其方差以 \mathcal{O}(1/K) 的速度收缩，而偏差保持不变。这与粒度是互补而非重复的关系：粒度锐化每一个单独的估计器，而重复评估则平均掉粒度无法消除的噪声。图 4（中）显示，准确率从 K{=}1 时的 74.7\% 提升到 K{=}16 时的 77.5\%。然而，随着 K 增大，增益递减：早期改进来自方差降低，而额外的评估由于在更难样例上的相关性偏差而带来递减的回报。重要的是，重复评估对离散评判器有益，其粗粒度评分在低 K 时会导致高平局率。虽然增大 K 有助于通过平均来打破这些平局，但这一机制对离散评判器而言存在根本性局限。我们表明，单次通过的验证器（K{=}1）已经能匹敌重度集成的评判器（K{=}16），凸显出细粒度概率评分提供了更强的信号。

图 7：在 Terminal-Bench V2 上，验证器（连续）与评判器（离散）在 k\in\{1,4,16\} 次重复评估下的对比。左：成对验证准确率。验证器在 k{=}1 时达到 74.7\%，并在 k{=}16 时提升至 77.5\%，在所有评估预算下均持续优于评判器。右：平局率。由于粗粒度离散评分，评判器在 k{=}1 时有 26.7\% 的比较出现平局，随着平均打破平局，在 k{=}16 时降至 5.5\%。相比之下，验证器产生零平局。

4.3 标准分解

粒度与重复评估都假定评分标准本身是充分的；如果单一的整体性标准无法很好地代表轨迹质量，这两者都无济于事。在长时程智能体任务中，诸如“这条轨迹是否正确？”之类的判断会混淆若干逻辑上彼此不同的因素，而被要求回答一个复合问题的验证器往往会抓住提示中最突出的那个因素。因此，我们用对 C 个更简单子标准的集成，取代单一的整体性标准。具体而言，对于代码智能体轨迹，我们将正确性分解为三个各自更易于验证的因素：规范（轨迹是否满足所有任务要求）、输出（最终输出格式是否与预期结果匹配）以及错误（轨迹在日志和工具输出中是否不含失败信号）。最终奖励对各项标准的期望得分取平均，如式 1 的外层求和所示。在图 4（右）中，任何单一标准单独使用可达到 75.2\%–76.4\% 的准确率，而它们的集成达到 78.3\%。

5 实验

我们将 LLM-as-a-Verifier 作为轨迹奖励模型（TRM）用于测试时扩展，在跨越三个领域的四个基准上进行了评估：编程（Terminal-Bench V2 [17]、SWE-Bench Verified [18]）、机器人（RoboRewardBench [11]）和医学（MedAgentBench [19]）。在这四个基准上，我们采用相同的协议：生成策略 \pi_{\theta} 为每个任务生成 N 条候选轨迹，验证器按照算法 1 中所述的概率枢轴锦标赛对每一对轨迹打分，并提交归一化得分最高的轨迹。除非另有说明，验证器运行时采用粒度 G{=}20、重复评估次数 K{=}8，以及第 4.3 节所述的三准则分解。我们的方法无需训练、即插即用：同一套验证框架应用于全部四个基准，无需任何按领域微调。总体结果总结于图 1，各基准的主要数字（包括基线准确率、Pass@1 和 oracle Pass@N）报告于表 3。

表 3：各基准的性能及验证带来的增益。基线准确率（左）在固定的智能体执行框架下获得。在相同的候选池上，我们报告 Pass@1、oracle Pass@N 上界，以及 LLM-as-a-Verifier 所达到的准确率（右）。我们的方法持续优于 Pass@1，并恢复了 oracle 余量中的很大一部分，在每个基准上均达到最先进性能。

5.1 Terminal-Bench V2

Terminal-Bench V2 [17] 衡量智能体在基于 shell 的环境中，完成需要多步推理、文件操作以及从失败工具调用中恢复的长时程任务的能力。该基准对验证器而言尤其困难，因为许多轨迹会产生语法上看似合理但实际错误的终态。我们使用 Capy [20] 作为脚手架，并从 GPT-5.5 中为每个任务采样 N{=}5 条轨迹；Gemini 2.5 Flash 担任验证器。GPT-5.5 在 Capy 下的 Pass@1 为 83.1\%，而该候选池上的 oracle Pass@5 上界为 92.1\%。LLM-as-a-Verifier 将准确率从 83.1\% 提升至 \mathbf{86.5\%}，超越了 Claude Mythos + Terminus-2 [21]（82.0\%）、GPT-5.5 + NexAU-AHE（84.7\%）、Claude Opus 4.7 + WOZCODE（80.2\%）以及 Gemini 3.1 Pro + TongAgents（80.2\%），在 Terminal-Bench V2 上创下新的 state of the art。11 1 基线准确率取自官方 Terminal-Bench V2 与 SWE-Bench Verified 排行榜。我们进一步表明，这些增益并不依赖于特定的 harness。关于 Terminus-2 和 Terminus-Kira 上的更多泛化结果，请参阅附录 B.1。

5.2 SWE-Bench Verified

SWE-Bench Verified [18] 是一个由人工筛选的、包含 500 个真实 GitHub issue 的子集，其中每个任务都要求 agent 生成一个补丁来解决该 issue，并通过维护者隐藏的测试套件。它强调长上下文推理、跨文件编辑以及对现有代码库的遵循。我们使用 mini-swe-agent 作为脚手架，并且与 Terminal-Bench 上使用的同质候选池不同，我们通过分别从 Claude Opus 4.5、Gemini 3 Flash 和 MiniMax M2.5 中采样一条轨迹，为每个任务抽取一个由 N{=}3 个候选组成的异质候选池。Gemini 2.5 Flash 再次充当验证器。该候选池的平均 Pass@1 为 76.1\%，oracle Pass@3 上界为 84.4\%。LLM-as-a-Verifier 在 SWE-Bench Verified 上达到 \mathbf{78.2\%}，优于 Claude Opus 4.5（76.8\%）、Gemini 3 Flash（75.8\%）和 MiniMax M2.5（75.8\%）。这些结果凸显了验证器从不同模型家族生成的多样化候选集中选出最强轨迹的能力。

5.3 RoboRewardBench

表 4：RoboRewardBench 上的偏好准确率。LLM-as-a-Verifier 优于训练过的机器人奖励模型。

RoboRewardBench [11] 在机器人操作轨迹上评估奖励模型。遵循 Liang 等人 [9] 的做法，我们精心挑选了遵循相同自然语言指令但进展程度不同的 rollout 视频对；奖励模型必须输出一个偏好，表明哪个 rollout 取得了更多进展。与编码和临床基准不同，这里的输入是多帧视频，因此验证器必须整合跨帧的视觉上下文，以推理朝着目标取得的物理进展。我们使用 Qwen 3.6 35B 作为基础 VLM 验证器，并对从 VLM logits 中提取的评分 token 应用相同的概率公式（式 1），粒度 G{=}20、K{=}8 次重复验证。我们在从 RoboRewardBench 中随机抽样的 500 个轨迹对上评估，并与以下方法进行比较：(i) 使用相同 VLM 的离散 LLM-as-a-Judge 基线，(ii) 专门在机器人数据上训练的奖励模型——RoboReward-8B（在 $\sim45k 个 episode 上训练）和 Robometer-4B（在 \sim1M 个比较上训练），以及 (iii) TOPReward [10]（Qwen 3.6）。如表 4 和附录 B.5 所示，LLM-as-a-Verifier 达到了 \mathbf{87.4\%}$ 的偏好准确率，优于离散 LLM-as-a-Judge 基线（70.8\%）、RoboReward-8B（81.4\%）、Robometer-4B [9]（78.8\%）和 TOPReward（74.7%），尽管它是零样本应用且未经任何微调。我们还通过测量预测奖励与人工标注之间的平均绝对误差（MAE）在 RoboRewardBench 上进行评估。如表 5 所示，使用式 3.1 中的连续奖励公式并结合 K{=}8 次重复评估，显著改善了与人类判断的一致性，将 MAE 从 1.11 降至 \mathbf{0.72}。

表 5：在 RoboRewardBench 上针对人工标注的评估。我们报告人类标签与预测奖励之间的平均绝对误差（MAE；越低越好）。LLM-as-a-Verifier 使用连续奖励（K{=}8），而基线则从模型中提取离散分数。

5.4 MedAgentBench

MedAgentBench [19] 在模拟电子健康记录（EHR）环境中评估 LLM 智能体在涉及患者信息检索、指南查询和多步工具使用的医疗任务上的表现。它涵盖了一种情形：在该情形下，构建真值轨迹检查器成本高昂，且验证错误会带来真实的安全后果，这使其成为通用验证器的天然压力测试。我们使用 AgentBench 测试框架，从 Claude Opus 4.8 中为每个任务采样 N{=}5 条轨迹，然后应用相同的验证流程。Claude Opus 4.8 在该池上的 Pass@1 为 70.2\%，而 LLM-as-a-Verifier 达到 \mathbf{73.3\%}，优于 Opus 4.8（70.2\%）、Gemini 3.5 Flash（66.3\%）和 GPT-5.5（65.1\%）。

图 8：我们观察到代码生成步骤的时间顺序推进与 LLM-as-a-Verifier 的分数之间存在强相关性。上述示例任务要求智能体运行 MNIST 推理。成功的轨迹遵循连贯的事件序列——Read model.py \rightarrow Install g++ compiler \rightarrow Install CPU-only torch \rightarrow Update hidden_dim \rightarrow DONE，并表现出持续上升的验证器分数。相比之下，失败的轨迹则以错误行为为特征——它不必要地安装了庞大的 torchvision 包，耗尽了可用磁盘空间并触发了编译错误——导致分数显著降低。结果展示的是 Terminal-Bench V2 中的 pytorch-model-cli 任务，使用 Gemini 2.5 Pro 搭配 Terminus 2，并以 Gemini 2.5 Flash 作为验证器。

6 细粒度验证器信号作为任务进展的代理

除了挑选最佳轨迹之外，LLM-as-a-Verifier 所产生的细粒度信号还可作为一个标量代理，用以衡量智能体在任务中推进的程度。我们采用价值—顺序相关性（Value-Order Correlation, VOC）来量化这一点，即某一步骤的时间顺序索引与该验证器对以该步骤结尾的前缀所预测价值之间的 Spearman 秩相关，方法遵循 Ma 等人 [22]。直观上，一个能够跟踪任务进展的验证器应当为成功 rollout 中较晚的前缀赋予单调更高的分数，从而使 \mathrm{VOC}\to 1，并且应当对卡住或倒退等失败模式保持稳健。

(6.1)

代码生成上的 VOC。

在 Terminal-Bench V2 上，我们测量每个智能体动作的时间步与验证器在对应轨迹前缀上的得分之间的 VOC。LLM-as-a-Verifier 在成功的 rollout 上产生持续上升的分数，而在停滞或逐渐走向失败的轨迹上基本保持平坦，从而使同一个标量既能作为进度度量，又能作为早期预警信号。图 8 在 pytorch-model-cli 任务上展示了这一点：成功运行的分数单调上升，而失败运行的分数则始终很低。这种双重用途促成了我们的 Claude Code 和 Codex 扩展，它们将实时验证器分数呈现给用户，以便对长时间运行的智能体任务进行监控、暂停或在它们将损坏状态提交到磁盘之前回滚。在从 Terminal-Bench V2 运行中抽取的 500 个（成功、失败）配对中，验证器（Gemini 2.5 Flash，G{=}20）在成功轨迹上达到 Spearman VOC 0.848，在失败轨迹上达到 0.769（完整数字见表 6）。代码生成的 VOC 数字表明，LLM-as-a-Verifier 产生的细粒度信号不仅仅是一个更好的排序器，而是一个经过校准的任务进度估计器，为自主智能体更安全的现实世界部署开辟了一条道路。

表 6：Terminal-Bench V2 上按轨迹结果划分的值序相关性。步索引与验证器进度分数之间的平均 Spearman 秩相关，在从 Terminal-Bench V2 随机抽样的 500 条轨迹上计算。验证器（Gemini 2.5 Flash，G{=}20）对成功轨迹表现出近乎单调的进度，而失败的 rollout 则显示出较弱的相关性，表明进度有限或不一致。我们观察到，在同一任务上由同一智能体骨干生成的成功轨迹与失败轨迹之间存在 0.08 的 Spearman 差距。

机器人学上的 VOC。

我们在留出的 RoboReward 数据集上对 500 条轨迹计算了 VOC。如表 7 所示，LLM-as-a-Verifier（Qwen 3.6，K{=}5，G{=}20）达到 \mathbf{0.966}，大幅超过 RoboReward-8B（0.877）、Robometer-4B（0.780）和 TOPReward（0.565）。从定性角度看，TOPReward 几乎会立即在 P(\texttt{True}){=}1.0 处饱和，因此当一次 rollout 最终失败时，它便丧失了区分轨迹中途进展的能力；而我们对完整评分分布的期望则在整段 episode 中保留了平滑且与时间顺序对齐的信号。

表 7：在 RoboRewardBench 的 500 条轨迹上的价值—顺序相关性。采用 K{=}5 次重复评估和 G{=}20 评分粒度的 LLM-as-a-Verifier，在时间步索引与验证器预测的进展分数之间取得了最高的秩相关性。

编码智能体扩展

为展示 LLM-as-a-Verifier 对真实世界编码智能体的适用性，我们开发了 TurboAgent，这是一个可直接接入 Claude Code 及其他兼容 OpenAI API 客户端的扩展。TurboAgent 作为推理时代理运行，透明地置于客户端与 LLM 提供商之间，无需对底层智能体框架或后端模型做任何修改。这种代理设计还使 TurboAgent 能够透明地接入 Terminal-Bench [17] 等现有基准测试。对于每个请求，它并行地向后端模型派发 N 条候选轨迹，并使用所提出的概率枢轴锦标赛（PPT）选出最佳响应。除验证之外，TurboAgent 还提供基于 Web 的界面，用于可视化验证器输出并实时监控智能体进展。

7 面向强化学习的稠密奖励

图 9：LLM-as-a-Verifier 提升强化学习样本效率。离策略（左）与在策略（右）强化学习中成功率随训练步数的变化，比较稀疏奖励基线与来自 LLM-as-a-Verifier 的稠密奖励。左：在 LIBERO ketchup 任务上用 DSRL-SAC 微调的 \pi_{0} 策略。验证器进度奖励（式 7.1）以约 1.8\times 更少的环境步数达到相同的成功率，并达到更高的最终成功率（0.76 对 0.69）。右：在 MATH 上用 GRPO 微调的 Qwen3-8B。验证器推理奖励（式 7.2）将样本效率提升约 1.1\times。结果在多个随机种子上取平均（LIBERO n{=}5，MATH n{=}3）。

上一节中的进度信号也有助于缓解强化学习（RL）中长期存在的难题：信用分配问题。我们表明，LLM-as-a-Verifier 的细粒度分数（式 3.1）可直接作为离策略和在策略 RL 的稠密奖励，在无需任何奖励模型训练或环境特定塑形的情况下提升样本效率。

离策略 RL：用于 DSRL-SAC 的稠密进度奖励。

我们使用 Soft Actor–Critic（SAC）在 LIBERO 上通过 DSRL 微调 \pi_{0} [23] 视觉–语言–动作模型。在每次 rollout 结束时，我们用任务指令 x 和均匀子采样的渲染帧序列查询 VLM 验证器，获得逐步进度曲线 \rho_{t}=R\!\left(x,\tau_{1:t}\right)\in[0,1]。然后我们用塑形奖励对 rollout 重新标注：

(7.1)

将重新标记后的转移 (s_{t},a_{t},r_{t},s_{t+1}) 存入回放缓冲区 \mathcal{D}，并基于从 \mathcal{D} 中采样的重新标记回报训练 SAC 评论家。系数 \lambda 用于权衡环境奖励与验证器奖励。由于塑形是以离线方式作用于已存储的轨迹，且不改变 SAC 目标，因此它在不增加额外算法成本的情况下引入了稠密的中间信号。

同策略强化学习：为 GRPO 提供稠密推理奖励。

我们使用组相对策略优化（GRPO）[14] 在 MATH 上微调 Qwen3-8B [24]，该方法为每个提示 x 采样一组 G 个响应 \{y_{i}\}_{i=1}^{G}，并估计每个响应相对于该组的优势。在训练早期阶段，所有采样响应常常产生错误的最终答案，导致组相对优势坍缩为零，从而不产生梯度。LLM-as-a-Verifier 通过使用概率枢轴锦标赛（式 3.2）评估每个补全的推理轨迹来缓解这一问题，为每个响应分配一个归一化偏好分数 \bar{R}_{i}\in[0,1]，即使最终答案相同，该分数也能捕捉推理质量上的细微差异。我们将这一验证器导出的分数以权重 \beta 纳入标准的正确性与格式奖励中：

(7.2)

实证发现。

在两种机制下，密集验证器奖励都比稀疏基线提升了样本效率（图 9）。我们将样本效率量化为：稀疏基线达到目标成功率所需的训练步数与我们密集奖励所需步数之比。在 LIBERO 上，对使用 DSRL-SAC 训练的 \pi_{0} 策略进行奖励塑形后，能在显著更少的环境步数内达到匹配的成功率——在 0.2 到 0.6 的各成功率目标上，样本效率平均提升 \mathbf{1.8\times}——同时还取得了更高的最终成功率（0.76 对 0.69）。在 MATH 上，为 GRPO 加入推理奖励带来的增益较小但稳定，约为 \approx\mathbf{1.1\times}（达到匹配准确率所需的优化器步数减少约 \sim\!10\%）。我们在附录 B.7 中报告了奖励塑形超参数和额外的消融实验。

8 讨论

在本工作中，我们认为验证是一个尚未被充分探索的扩展维度。为实现这一点，我们提出了 LLM-as-a-Verifier，一个为智能体任务提供细粒度反馈的通用框架。与输出单一离散评分的标准 LM 评判器不同，我们的方法通过对评分 token 的 logits 分布取期望来计算连续奖励，并支持在多个维度上进行验证扩展，包括：(1) 评分粒度，(2) 重复评估，以及 (3) 标准分解。当将其用作测试时扩展的轨迹奖励模型时，它在 Terminal-Bench V2、SWE-Bench Verified、RoboRewardBench 和 MedAgentBench 上取得了最先进的性能。除了排序之外，细粒度的验证器信号还可以用作进度估计器，为自主智能体更安全地部署于现实世界开辟了一条路径。最后，我们证明 LLM-as-a-Verifier 可以用作强化学习的密集奖励信号，在机器人学和数学推理基准上提升了 SAC 和 GRPO 的样本效率。

9 相关工作

测试时扩展。

测试时扩展通过在审议、搜索或候选生成上花费额外的推理计算来提升模型性能。一条研究路线通过思维链[25, 26]引出中间推理、将问题分解为更简单的子问题[27]，或对采样的推理路径进行边缘化[28]，来改进单一回复。另一条路线则基于测试时反馈[34, 35, 36, 37, 38, 39]，在中间思维[29, 30]、动作[31, 32]或潜在世界状态[33]上进行搜索。重复采样与best-of-N选择进一步为代码生成[40]、通用推理[41, 3]、并行自验证[5]以及推理感知训练[42]扩展了候选池。这些方法能够揭示出可观的预言机余量，但要实现这一余量，需要一个可靠的选择器。我们的LLM-as-a-Verifier则表明，验证器质量可以通过扩展评分粒度、重复评估和标准分解来提升，而更好的验证能直接改进面向长时程决策的best-of-N选择。

LLM-as-a-Judge。

LLM-as-a-judge 方法通过提示大模型对生成输出进行打分或比较，为人工评估提供了一种可扩展的替代方案。基于概率和表单填充的评估器从 LLM 中提取更丰富的评分信号 [43, 44]，而基准风格的评估器则利用 LLM 偏好来评估指令遵循系统 [45, 46, 47]。另一条互补的研究路线通过技能分解 [48]、定制化评分标准和专用开放评判模型 [49, 50, 51, 52]，以及分层准则 [53]，使评估更加细粒度。其他工作则训练可扩展的评判模型 [54, 55]，或通过辩论与弱验证器集成来组合多个评判模型 [56, 57]。近期研究还分析了评判模型的可靠性，包括公平性与位置偏差 [58, 59]、认知偏差与自我增强偏差 [60, 61]、通用评判基准 [62, 63]，以及领域特定的评判评估 [64]。多模态评判模型将这一范式扩展到图像和视觉语言评估 [65, 66, 67]。我们的工作建立在这些研究之上，但在设定、目标和扩展特性上有所不同。LLM-as-a-Verifier 并非评估孤立的自然语言回复，而是验证涉及工具使用、代码执行、机器人操作和医疗决策的长时程智能体轨迹。此外，我们系统性地研究了验证质量如何随评分粒度、重复评估和准则分解而变化。

可验证奖励。

奖励模型将候选解、动作或轨迹转换为标量反馈，用于选择、监控或策略优化。在语言推理中，学习到的验证器已被训练为用于最终答案选择的结果奖励模型 [7]、用于步骤级监督的过程奖励模型 [68, 8]，以及将奖励建模视为下一词元预测的生成式验证器 [6]。在机器人领域，奖励信号已从价值隐式视觉表征 [69]、语言-图像奖励表征 [70]、预训练视觉-语言模型 [71, 72, 22]、VLM 反馈或偏好 [73]、LLM 生成的奖励代码 [74, 75, 76]、词元概率进展 [10]，以及基于大规模轨迹或偏好数据训练的通用机器人奖励模型 [77, 78, 11, 9] 中导出。近期工作还开发了用于引导采样 [79, 80, 81]、运行时监控 [82] 和多模态对齐 [83] 的动作级验证器。一条互补的研究路线通过将整体判断分解为更小的检查 [84, 85, 86, 53, 87, 88] 来提高验证的可靠性。与这些方法正交，我们的工作在通用框架下研究了验证器质量如何随分数粒度、重复评估和标准分解在多个领域中扩展。

10 致谢

我们感谢 UC Berkeley Sky Computing Lab、Stanford Scaling Intelligence Lab、IRIS Lab 和 Autonomous Systems Lab 的成员提供的建设性反馈和有启发性的讨论。本工作得到了 Google；Google DeepMind；Google Cloud；Stanford HAI；DARPA（HR00112520038，Fallingwater）；NSF（24-554，AIMing）；NASA ULI；Schmidt Sciences；以及 Lightspeed 的支持。我们也感谢 IBM 和 Felicis 作为 Stanford HAI 产业附属计划成员所提供的支持。

参考文献

[1] J. Kaplan, S. McCandlish, T. Henighan, T. B. Brown, B. Chess, R. Child, S. Gray, A. Radford, J. Wu, and D. Amodei (2020)

Scaling Laws for Neural Language Models.

arXiv.

注：arXiv:2001.08361 [cs]

外部链接：Link、Document

被引于：§1。

[2] L. Gao、J. Schulman 和 J. Hilton（2022）

奖励模型过度优化的缩放定律。

arXiv。

注：arXiv:2210.10760 [cs]

外部链接：Link、Document

被引于：§1。

[3] C. Snell、J. Lee、K. Xu 和 A. Kumar（2024）

最优地扩展 LLM 测试时计算可能比扩展模型参数更有效。

arXiv。

注：arXiv:2408.03314 [cs]

外部链接：Link、Document

被引于：§1、§9。

[4] L. Zheng、W. Chiang、Y. Sheng、S. Zhuang、Z. Wu、Y. Zhuang、Z. Lin、Z. Li、D. Li、E. P. Xing、H. Zhang、J. E. Gonzalez 和 I. Stoica（2023）

使用 MT-Bench 和 Chatbot Arena 评判 LLM-as-a-judge。

外部链接：2306.05685、Document、Link

被引于：§1、§1、§3.1。

[5] H. Singh、X. Li、K. Sareen、M. Maheswaran、S. Tan、X. Wu、J. Wang、A. Ariyak、Q. Wu、S. Khaki、R. Tiwari、L. Lian、Y. Lu、B. Li、A. Suhr、B. Athiwaratkun 和 K. Keutzer（2026）

V_{1}：为并行推理器统一生成与自验证。

外部链接：2603.04304、Document、Link

被引于：§B.2、§B.3、表 11、表 11、表 11、表 9、表 9、表 9、表 9、§1、§3.2、§9。

[6] L. Zhang、A. Hosseini、H. Bansal、M. Kazemi、A. Kumar 和 R. Agarwal（2025）

生成式验证器：作为下一词元预测的奖励建模。

外部链接：2408.15240、Link

被引于：§1、§9。

[7] K. Cobbe、V. Kosaraju、M. Bavarian、M. Chen、H. Jun、L. Kaiser、M. Plappert、J. Tworek、J. Hilton、R. Nakano、C. Hesse 和 J. Schulman（2021）

训练验证器以求解数学应用题。

arXiv。

注：arXiv:2110.14168 [cs]

外部链接：Link、Document

被引于：§1、§1、§9。

[8] H. Lightman、V. Kosaraju、Y. Burda、H. Edwards、B. Baker、T. Lee、J. Leike、J. Schulman、I. Sutskever 和 K. Cobbe（2023）

让我们逐步验证。

arXiv。

注：arXiv:2305.20050 [cs]

外部链接：Link、Document

被引于：§1、§9。

[9] A. Liang, Y. Korkmaz, J. Zhang, M. Hwang, A. Anwar, S. Kaushik, A. Shah, A. S. Huang, L. Zettlemoyer, D. Fox, et al. (2026)

Robometer：通过轨迹比较扩展通用机器人奖励模型。

arXiv 预印本 arXiv:2603.02115。

引用位置：§1、§5.3、§9。

[10] S. Chen, C. Harrison, Y. Lee, A. J. Yang, Z. Ren, L. J. Ratliff, J. Duan, D. Fox, and R. Krishna (2026)

Topreward：将 token 概率作为机器人学中隐藏的零样本奖励。

arXiv 预印本 arXiv:2602.19313。

引用位置：§1、§5.3、§9。

[11] T. Lee, A. Wagenmaker, K. Pertsch, P. Liang, S. Levine, and C. Finn (2026)

RoboReward：面向机器人学的通用视觉-语言奖励模型。

外部链接：2601.00675，Document，Link

引用位置：§1、§5.3、§5、§9。

[12] B. Liu, Y. Zhu, C. Gao, Y. Feng, Q. Liu, Y. Zhu, and P. Stone (2023)

LIBERO：面向终身机器人学习的知识迁移基准测试。

外部链接：2306.03310，Link

引用位置：§1。

[13] A. Wagenmaker, M. Nakamoto, Y. Zhang, S. Park, W. Yagoub, A. Nagabandi, A. Gupta, and S. Levine (2025)

用潜在空间强化学习引导你的扩散策略。

外部链接：2506.15799，Link

引用位置：§1。

[14] DeepSeek-AI, D. Guo, D. Yang, H. Zhang, J. Song, P. Wang, Q. Zhu, R. Xu, R. Zhang, S. Ma, X. Bi, X. Zhang, X. Yu, Y. Wu, Z. F. Wu, Z. Gou, Z. Shao, Z. Li, Z. Gao, A. Liu, B. Xue, B. Wang, B. Wu, B. Feng, C. Lu, C. Zhao, C. Deng, C. Zhang, C. Ruan, D. Dai, D. Chen, D. Ji, E. Li, F. Lin, F. Dai, F. Luo, G. Hao, G. Chen, G. Li, H. Zhang, H. Bao, H. Xu, H. Wang, H. Ding, H. Xin, H. Gao, H. Qu, H. Li, J. Guo, J. Li, J. Wang, J. Chen, J. Yuan, J. Qiu, J. Li, J. L. Cai, J. Ni, J. Liang, J. Chen, K. Dong, K. Hu, K. Gao, K. Guan, K. Huang, K. Yu, L. Wang, L. Zhang, L. Zhao, L. Wang, L. Zhang, L. Xu, L. Xia, M. Zhang, M. Zhang, M. Tang, M. Li, M. Wang, M. Li, N. Tian, P. Huang, P. Zhang, Q. Wang, Q. Chen, Q. Du, R. Ge, R. Zhang, R. Pan, R. Wang, R. J. Chen, R. L. Jin, R. Chen, S. Lu, S. Zhou, S. Chen, S. Ye, S. Wang, S. Yu, S. Zhou, S. Pan, S. S. Li, S. Zhou, S. Wu, S. Ye, T. Yun, T. Pei, T. Sun, T. Wang, W. Zeng, W. Zhao, W. Liu, W. Liang, W. Gao, W. Yu, W. Zhang, W. L. Xiao, W. An, X. Liu, X. Wang, X. Chen, X. Nie, X. Cheng, X. Liu, X. Xie, X. Liu, X. Yang, X. Li, X. Su, X. Lin, X. Q. Li, X. Jin, X. Shen, X. Chen, X. Sun, X. Wang, X. Song, X. Zhou, X. Wang, X. Shan, Y. K. Li, Y. Q. Wang, Y. X. Wei, Y. Zhang, Y. Xu, Y. Li, Y. Zhao, Y. Sun, Y. Wang, Y. Yu, Y. Zhang, Y. Shi, Y. Xiong, Y. He, Y. Piao, Y. Wang, Y. Tan, Y. Ma, Y. Liu, Y. Guo, Y. Ou, Y. Wang, Y. Gong, Y. Zou, Y. He, Y. Xiong, Y. Luo, Y. You, Y. Liu, Y. Zhou, Y. X. Zhu, Y. Xu, Y. Huang, Y. Li, Y. Zheng, Y. Zhu, Y. Ma, Y. Tang, Y. Zha, Y. Yan, Z. Z. Ren, Z. Ren, Z. Sha, Z. Fu, Z. Xu, Z. Xie, Z. Zhang, Z. Hao, Z. Ma, Z. Yan, Z. Wu, Z. Gu, Z. Zhu, Z. Liu, Z. Li, Z. Xie, Z. Song, Z. Pan, Z. Huang, Z. Xu, Z. Zhang, and Z. Zhang (2025)

DeepSeek-r1：通过强化学习激励大语言模型的推理能力。

645 (8081), pp.&#160;633–638.

外部链接：ISSN 0028-0836, 1476-4687, Link, Document, 2501.12948 [cs]

引用位置：§1, §7.

[15] N. Stiennon, L. Ouyang, J. Wu, D. M. Ziegler, R. Lowe, C. Voss, A. Radford, D. Amodei, and P. Christiano (2022)

Learning to summarize from human feedback.

arXiv.

Note: arXiv:2009.01325 [cs]

External Links: Link, Document

Cited by: §3.1.

[16] Google (2026)

Gemini 2.5 Flash.

Note: https://ai.google.dev/gemini-api/docs/models/gemini-2.5-flashAccessed: 2026-05-06

Cited by: §4.

[17] M. A. Merrill, A. G. Shaw, N. Carlini, B. Li, H. Raj, I. Bercovich, L. Shi, J. Y. Shin, T. Walshe, E. K. Buchanan, J. Shen, G. Ye, H. Lin, J. Poulos, M. Wang, M. Nezhurina, J. Jitsev, D. Lu, O. M. Mastromichalakis, Z. Xu, Z. Chen, Y. Liu, R. Zhang, L. L. Chen, A. Kashyap, J. Uslu, J. Li, J. Wu, M. Yan, S. Bian, V. Sharma, K. Sun, S. Dillmann, A. Anand, A. Lanpouthakoun, B. Koopah, C. Hu, E. Guha, G. H. S. Dreiman, J. Zhu, K. Krauth, L. Zhong, N. Muennighoff, R. Amanfu, S. Tan, S. Pimpalgaonkar, T. Aggarwal, X. Lin, X. Lan, X. Zhao, Y. Liang, Y. Wang, Z. Wang, C. Zhou, D. Heineman, H. Liu, H. Trivedi, J. Yang, J. Lin, M. Shetty, M. Yang, N. Omi, N. Raoof, S. Li, T. Y. Zhuo, W. Lin, Y. Dai, Y. Wang, W. Chai, S. Zhou, D. Wahdany, Z. She, J. Hu, Z. Dong, Y. Zhu, S. Cui, A. Saiyed, A. Kolbeinsson, J. Hu, C. M. Rytting, R. Marten, Y. Wang, A. Dimakis, A. Konwinski, and L. Schmidt (2026)

Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces.

arXiv.

Note: arXiv:2601.11868 [cs]

External Links: Link, Document

Cited by: §5.1, §5, §6.

[18] C. E. Jimenez, J. Yang, A. Wettig, S. Yao, K. Pei, O. Press, and K. Narasimhan (2024)

SWE-bench: Can Language Models Resolve Real-World GitHub Issues?.

arXiv.

Note: arXiv:2310.06770 [cs]

External Links: Link, Document

Cited by: §5.2, §5.

[19] Y. Jiang, K. C. Black, G. Geng, D. Park, J. Zou, A. Y. Ng, and J. H. Chen (2025)

A virtual ehr environment to benchmark medical llm agents.

NEJM AI 2 (9).

External Links: Document

Cited by: §5.4, §5.

[20] Capy.

(en).

External Links: Link

Cited by: §5.1.

[21] Terminus 2.

(en)。

外部链接：Link

被引用于：§5.1。

[22] Y. J. Ma, J. Hejna, A. Wahid, C. Fu, D. Shah, J. Liang, Z. Xu, S. Kirmani, P. Xu, D. Driess, T. Xiao, J. Tompson, O. Bastani, D. Jayaraman, W. Yu, T. Zhang, D. Sadigh, and F. Xia (2025)

视觉语言模型是上下文价值学习者。

载于 International Conference on Learning Representations，

外部链接：2411.04549, Document, Link

被引用于：§6, §9。

[23] K. Black, N. Brown, D. Driess, A. Esmail, M. Equi, C. Finn, N. Fusai, L. Groom, K. Hausman, B. Ichter, S. Jakubczak, T. Jones, L. Ke, S. Levine, A. Li-Bell, M. Mothukuri, S. Nair, K. Pertsch, L. X. Shi, J. Tanner, Q. Vuong, A. Walling, H. Wang, and U. Zhilinsky (2026)

\pi_{0}：一种用于通用机器人控制的视觉-语言-动作流模型。

外部链接：2410.24164, Link

被引用于：§7。

[24] A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. (2025)

Qwen3 技术报告。

arXiv 预印本 arXiv:2505.09388。

被引用于：§7。

[25] J. Wei, X. Wang, D. Schuurmans, M. Bosma, B. Ichter, F. Xia, E. H. Chi, Q. V. Le, and D. Zhou (2022)

思维链提示激发大语言模型中的推理能力。

外部链接：2201.11903, Document, Link

被引用于：§9。

[26] T. Kojima, S. S. Gu, M. Reid, Y. Matsuo, and Y. Iwasawa (2022)

大语言模型是零样本推理者。

外部链接：2205.11916, Document, Link

被引用于：§9。

[27] D. Zhou, N. Schärli, L. Hou, J. Wei, N. Scales, X. Wang, D. Schuurmans, C. Cui, O. Bousquet, Q. V. Le, and E. H. Chi (2023)

从最少到最多的提示使大语言模型能够进行复杂推理。

载于 International Conference on Learning Representations，

外部链接：Link

被引用于：§9。

[28] X. Wang, J. Wei, D. Schuurmans, Q. Le, E. Chi, S. Narang, A. Chowdhery, and D. Zhou (2023)

自一致性改进了语言模型中的思维链推理。

arXiv。

外部链接：Link, Document, 2203.11171 [cs]

被引用于：§9。

[29] S. Yao, D. Yu, J. Zhao, I. Shafran, T. Griffiths, Y. Cao, and K. Narasimhan (2023)

思维树：用大语言模型进行深思熟虑的问题求解。

Advances in neural information processing systems 36, pp.&#160;11809–11822.

引用位置：§9。

[30] M. Besta, N. Blach, A. Kubicek, R. Gerstenberger, M. Podstawski, L. Gianinazzi, J. Gajda, T. Lehmann, H. Niewiadomski, P. Nyczyk, and T. Hoefler (2023)

思维图：用大语言模型求解复杂问题。

External Links: 2308.09687, Document, Link

引用位置：§9。

[31] S. Yao, J. Zhao, D. Yu, N. Du, I. Shafran, K. Narasimhan, and Y. Cao (2023)

ReAct：在语言模型中协同推理与行动。

arXiv.

External Links: Link, Document, 2210.03629 [cs]

引用位置：§9。

[32] A. Zhou, K. Yan, M. Shlapentokh-Rothman, H. Wang, and Y. Wang (2023)

语言智能体树搜索在语言模型中统一了推理、行动与规划。

arXiv preprint arXiv:2310.04406.

引用位置：§9。

[33] S. Hao, Y. Gu, H. Ma, J. J. Hong, Z. Wang, D. Z. Wang, and Z. Hu (2023)

用语言模型推理即用世界模型进行规划。

In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing,

External Links: Link

引用位置：§9。

[34] Y. Weng, M. Zhu, F. Xia, B. Li, S. He, S. Liu, B. Sun, K. Liu, and J. Zhao (2022)

大语言模型借助自我验证能成为更好的推理者。

External Links: 2212.09561, Document, Link

引用位置：§9。

[35] A. Madaan, N. Tandon, P. Gupta, S. Hallinan, L. Gao, S. Wiegreffe, U. Alon, N. Dziri, S. Prabhumoye, Y. Yang, S. Gupta, B. P. Majumder, K. Hermann, S. Welleck, A. Yazdanbakhsh, and P. Clark (2023)

自我精炼：借助自我反馈的迭代式改进。

External Links: 2303.17651, Document, Link

引用位置：§9。

[36] N. Shinn, F. Cassano, E. Berman, A. Gopinath, K. Narasimhan, and S. Yao (2023)

反思：具备言语强化学习的语言智能体。

External Links: 2303.11366, Document, Link

引用位置：§9。

[37] Z. Gou, Z. Shao, Y. Gong, Y. Shen, Y. Yang, N. Duan, and W. Chen (2024)

CRITIC：大型语言模型可通过工具交互式批判实现自我纠正。

In International Conference on Learning Representations,

External Links: Link

Cited by: §9.

[38] L. A. Agrawal, S. Tan, D. Soylu, N. Ziems, R. Khare, K. Opsahl-Ong, A. Singhvi, H. Shandilya, M. J. Ryan, M. Jiang, C. Potts, K. Sen, A. G. Dimakis, I. Stoica, D. Klein, M. Zaharia, and O. Khattab (2025)

GEPA：反思式提示演化可超越强化学习。

arXiv.

Note: arXiv:2507.19457 [cs]

External Links: Link, Document

Cited by: §9.

[39] A. Novikov, N. Vũ, M. Eisenberger, E. Dupont, P. Huang, A. Z. Wagner, S. Shirobokov, B. Kozlovskii, F. J. R. Ruiz, A. Mehrabian, M. P. Kumar, A. See, S. Chaudhuri, G. Holland, A. Davies, S. Nowozin, P. Kohli, and M. Balog (2025)

AlphaEvolve：面向科学与算法发现的编码智能体。

arXiv.

Note: arXiv:2506.13131 [cs]

External Links: Link, Document

Cited by: §9.

[40] Y. Li, D. Choi, J. Chung, N. Kushman, J. Schrittwieser, R. Leblond, T. Eccles, J. Keeling, F. Gimeno, A. Dal Lago, T. Hubert, P. Choy, C. d. M. d’Autume, I. Babuschkin, X. Chen, P. Huang, J. Welbl, S. Gowal, A. Cherepanov, J. Molloy, D. J. Mankowitz, E. S. Robson, P. Kohli, N. de Freitas, K. Kavukcuoglu, and O. Vinyals (2022)

使用 AlphaCode 进行竞赛级代码生成。

Science 378 (6624), pp.&#160;1092–1097.

External Links: Document, Link

Cited by: §9.

[41] B. Brown, J. Juravsky, R. Ehrlich, R. Clark, Q. V. Le, C. Ré, and A. Mirhoseini (2024)

大型语言猴子：通过重复采样扩展推理计算。

External Links: 2407.21787, Link

Cited by: §9.

[42] Y. Chow, G. Tennenholtz, I. Gur, V. Zhuang, B. Dai, S. Thiagarajan, C. Boutilier, R. Agarwal, A. Kumar, and A. Faust (2024)

面向大型语言模型中 best-of-N 采样的推理感知微调。

External Links: 2412.15287, Document, Link

Cited by: §9.

[43] J. Fu, S. Ng, Z. Jiang, and P. Liu (2023)

GPTScore：按需评估。

外部链接：2302.04166，Document，Link

引用位置：§9。

[44] Y. Liu, D. Iter, Y. Xu, S. Wang, R. Xu, and C. Zhu (2023)

G-eval：使用 GPT-4 进行 NLG 评估，具有更好的人类对齐性。

载于 Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing，

Singapore，pp.&#160;2511–2522。

外部链接：Document，Link

引用位置：§9。

[45] L. Zheng, W. Chiang, Y. Sheng, S. Zhuang, Z. Wu, Y. Zhuang, Z. Lin, Z. Li, D. Li, E. P. Xing, H. Zhang, J. E. Gonzalez, and I. Stoica (2023)

使用 MT-bench 和 chatbot arena 评判 LLM-as-a-judge。

载于 Advances in Neural Information Processing Systems，

外部链接：Link

引用位置：§9。

[46] Y. Dubois, B. Galambosi, P. Liang, and T. B. Hashimoto (2024)

长度控制的 AlpacaEval：一种消除自动评估器偏差的简单方法。

外部链接：2404.04475，Document，Link

引用位置：§9。

[47] T. Li, W. Chiang, E. Frick, L. Dunlap, T. Wu, B. Zhu, J. E. Gonzalez, and I. Stoica (2024)

从众包数据到高质量基准：Arena-Hard 与 BenchBuilder 流水线。

外部链接：2406.11939，Document，Link

引用位置：§9。

[48] S. Ye, D. Kim, S. Kim, H. Hwang, S. Kim, Y. Jo, J. Thorne, J. Kim, and M. Seo (2023)

Flask：基于对齐技能集的细粒度语言模型评估。

arXiv preprint arXiv:2307.10928。

引用位置：§9。

[49] S. Kim, J. Shin, Y. Cho, J. Jang, S. Longpre, H. Lee, S. Yun, S. Shin, S. Kim, J. Thorne, and M. Seo (2024)

Prometheus：在语言模型中诱导细粒度评估能力。

载于 International Conference on Learning Representations，

外部链接：Link

引用位置：§9。

[50] S. Kim, J. Suk, S. Longpre, B. Y. Lin, J. Shin, S. Welleck, G. Neubig, M. Lee, K. Lee, and M. Seo (2024)

Prometheus 2：一个专门用于评估其他语言模型的开源语言模型。

外部链接：2405.01535，Document，Link

引用位置：§9。

[51] J. Li, S. Sun, W. Yuan, R. Fan, H. Zhao, and P. Liu (2024)

用于评估对齐的生成式评判器。

In International Conference on Learning Representations,

External Links: Link

Cited by: §9.

[52] X. Hu, L. Lin, M. Gao, X. Yin, and X. Wan (2024)

Themis：一种灵活且可解释的无参考 NLG 评估语言模型。

External Links: 2406.18365, Document, Link

Cited by: §9.

[53] Y. Liu, T. Yang, S. Huang, Z. Zhang, H. Huang, F. Wei, W. Deng, F. Sun, and Q. Zhang (2024)

HD-eval：通过分层标准分解对齐大语言模型评估器。

In Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers),

Bangkok, Thailand, pp.&#160;7641–7660.

External Links: Document, Link

Cited by: §9, §9.

[54] Y. Wang, Z. Yu, W. Yao, Z. Zeng, L. Yang, C. Wang, H. Chen, C. Jiang, R. Xie, J. Wang, X. Xie, W. Ye, S. Zhang, and Y. Zhang (2024)

PandaLM：面向 LLM 指令微调优化的自动评估基准。

In International Conference on Learning Representations,

External Links: Link

Cited by: §9.

[55] L. Zhu, X. Wang, and X. Wang (2025)

JudgeLM：微调后的大语言模型是可扩展的评判器。

In International Conference on Learning Representations,

External Links: Link

Cited by: §9.

[56] C. Chan, W. Chen, Y. Su, J. Yu, W. Xue, S. Zhang, J. Fu, and Z. Liu (2023)

Chateval：通过多智能体辩论迈向更好的基于 llm 的评估器。

arXiv preprint arXiv:2308.07201.

Cited by: §9.

[57] J. Saad-Falcon, E. K. Buchanan, M. F. Chen, T. Huang, B. McLaughlin, T. Bhathal, S. Zhu, B. Athiwaratkun, F. Sala, S. Linderman, et al. (2025)

以弱验证器缩小生成-验证差距。

arXiv preprint arXiv:2506.18203.

Cited by: §9.

[58] P. Wang, L. Li, L. Chen, Z. Cai, D. Zhu, B. Lin, Y. Cao, L. Kong, Q. Liu, T. Liu, and Z. Sui (2024)

大语言模型并非公平的评估器。

载于第62届计算语言学协会年会论文集（第1卷：长论文），

泰国曼谷，第&#160;9440–9450页。

外部链接：Document, Link

引用位置：§9。

[59] Z. Zeng, J. Yu, T. Gao, Y. Meng, T. Goyal, and D. Chen (2024)

评估大语言模型在评估指令遵循方面的能力。

载于国际学习表征会议，

外部链接：Link

引用位置：§9。

[60] R. Koo, M. Lee, V. Raheja, J. I. Park, Z. M. Kim, and D. Kang (2023)

以评估者身份对大语言模型中的认知偏差进行基准测试。

外部链接：2309.17012, Document, Link

引用位置：§9。

[61] Y. Liu, N. S. Moosavi, and C. Lin (2023)

作为自恋评估者的大语言模型：当自我膨胀抬高评估分数时。

外部链接：2311.09766, Document, Link

引用位置：§9。

[62] S. Tan, S. Zhuang, K. Montgomery, W. Y. Tang, A. Cuadron, C. Wang, R. A. Popa, and I. Stoica (2025)

JudgeBench：一个用于评估基于大语言模型的评判者的基准。

载于国际学习表征会议，

外部链接：Link

引用位置：§9。

[63] H. Huang, X. Bu, H. Zhou, Y. Qu, J. Liu, M. Yang, B. Xu, and T. Zhao (2025)

关于以LLM作为评判者进行大语言模型评估的实证研究：微调评判模型并非GPT-4的通用替代品。

载于计算语言学协会发现集：ACL 2025，

奥地利维也纳，第&#160;5880–5895页。

外部链接：Document, Link

引用位置：§9。

[64] H. Jiang, Y. Chen, Y. Cao, H. Lee, and R. T. Tan (2025)

CodeJudgeBench：面向编码任务的LLM作为评判者的基准测试。

外部链接：2507.10535, Document, Link

引用位置：§9。

[65] D. Chen, R. Chen, S. Zhang, Y. Liu, Y. Wang, H. Zhou, Q. Zhang, Y. Wan, P. Zhou, and L. Sun (2024)

MLLM-as-a-judge：以视觉-语言基准评估多模态LLM作为评判者。

外部链接：2402.04788, Document, Link

引用位置：§9。

[66] S. Lee, S. Kim, S. H. Park, G. Kim, and M. Seo (2024)

Prometheus-vision：将视觉语言模型作为细粒度评估的评判者。

外部链接：2401.06591，文档，链接

被引于：§9。

[67] T. Xiong, X. Wang, D. Guo, Q. Ye, H. Fan, Q. Gu, H. Huang, and C. Li (2024)

LLaVA-critic：学习评估多模态模型。

外部链接：2410.02712，文档，链接

被引于：§9。

[68] J. Uesato, N. Kushman, R. Kumar, F. Song, N. Siegel, L. Wang, A. Creswell, G. Irving, and I. Higgins (2022)

基于过程与结果反馈求解数学应用题。

外部链接：2211.14275，文档，链接

被引于：§9。

[69] Y. J. Ma, S. Sodhani, D. Jayaraman, O. Bastani, V. Kumar, and A. Zhang (2022)

VIP：通过价值隐式预训练迈向通用视觉奖励与表征。

外部链接：2210.00030，文档，链接

被引于：§9。

[70] Y. J. Ma, W. Liang, V. Som, V. Kumar, A. Zhang, O. Bastani, and D. Jayaraman (2023)

LIV：面向机器人控制的语言-图像表征与奖励。

外部链接：2306.00958，文档，链接

被引于：§9。

[71] S. A. Sontakke, J. Zhang, S. M. R. Arnold, K. Pertsch, E. Biyik, D. Sadigh, C. Finn, and L. Itti (2023)

RoboCLIP：一次演示足以学习机器人策略。

外部链接：2310.07899，文档，链接

被引于：§9。

[72] J. Rocamonde, V. Montesinos, E. Nava, E. Perez, and D. Lindner (2023)

视觉语言模型是强化学习的零样本奖励模型。

外部链接：2310.12921，文档，链接

被引于：§9。

[73] Y. Wang, Z. Sun, J. Zhang, Z. Xian, E. Biyik, D. Held, and Z. Erickson (2024)

RL-VLM-F：基于视觉语言基础模型反馈的强化学习。

外部链接：2402.03681，文档，链接

被引于：§9。

[74] W. Yu, N. Gileadi, C. Fu, S. Kirmani, K. Lee, M. Gonzalez Arenas, H. L. Chiang, T. Erez, L. Hasenclever, J. Humplik, B. Ichter, T. Xiao, P. Xu, A. Zeng, T. Zhang, N. Heess, D. Sadigh, J. Tan, Y. Tassa, and F. Xia (2023)

面向机器人技能合成的语言到奖励。

External Links: 2306.08647, Document, Link

Cited by: §9.

[75] T. Xie, S. Zhao, C. H. Wu, Y. Liu, Q. Luo, V. Zhong, Y. Yang, and T. Yu (2023)

Text2Reward: 利用语言模型为强化学习进行奖励塑形。

External Links: 2309.11489, Document, Link

Cited by: §9.

[76] Y. J. Ma, W. Liang, G. Wang, D. Huang, O. Bastani, D. Jayaraman, Y. Zhu, L. Fan, and A. Anandkumar (2023)

Eureka: 通过编码大语言模型实现人类水平的奖励设计。

External Links: 2310.12931, Document, Link

Cited by: §9.

[77] J. Zhang, Y. Luo, A. Anwar, S. A. Sontakke, J. J. Lim, J. Thomason, E. Biyik, and J. Zhang (2025)

ReWiND: 语言引导的奖励无需新示范即可教会机器人策略。

External Links: 2505.10911, Document, Link

Cited by: §9.

[78] Q. Chen, J. Yu, M. Schwager, P. Abbeel, Y. Shentu, and P. Wu (2025)

SARM: 面向长时程机器人操作的阶段感知奖励建模。

External Links: 2509.25358, Document, Link

Cited by: §9.

[79] M. Nakamoto, O. Mees, A. Kumar, and S. Levine (2024)

引导你的通才模型：通过价值引导改进机器人基础模型。

External Links: 2410.13816, Document, Link

Cited by: §9.

[80] Y. Liu, J. I. Hamid, A. Xie, Y. Lee, M. Du, and C. Finn (2024)

双向解码：通过引导式测试时采样改进动作分块。

External Links: 2408.17355, Document, Link

Cited by: §9.

[81] J. Kwok, C. Agia, R. Sinha, M. Foutter, S. Li, I. Stoica, A. Mirhoseini, and M. Pavone (2025)

RoboMonkey: 为视觉-语言-动作模型扩展测试时采样与验证。

In Proceedings of The 9th Conference on Robot Learning, J. Lim, S. Song, and H. Park (Eds.),

Proceedings of Machine Learning Research, Vol. 305, pp.&#160;3200–3217.

External Links: Link

Cited by: §9.

[82] C. Agia, R. Sinha, J. Yang, Z. Cao, R. Antonova, M. Pavone, and J. Bohg (2024)

剖析生成式策略的失效模式：一致性与进展的运行时监控。

外部链接：2410.04640，文档，链接

引用出处：§9。

[83] J. Kwok, X. Zhang, M. Xu, Y. Liu, A. Mirhoseini, C. Finn, and M. Pavone (2026)

扩展验证可能比扩展策略学习对视觉-语言-动作对齐更有效。

外部链接：2602.12281，链接

引用出处：§9。

[84] S. Min, K. Krishna, X. Lyu, M. Lewis, W. Yih, P. W. Koh, M. Iyyer, L. Zettlemoyer, and H. Hajishirzi (2023)

FActScore：长文本生成中事实精确性的细粒度原子评估。

外部链接：2305.14251，文档，链接

引用出处：§9。

[85] A. R. Fabbri, C. Wu, W. Liu, and C. Xiong (2021)

QAFactEval：改进的基于问答的摘要事实一致性评估。

外部链接：2112.08542，文档，链接

引用出处：§9。

[86] P. Manakul, A. Liusie, and M. J. F. Gales (2023)

SelfCheckGPT：面向生成式大语言模型的零资源黑盒幻觉检测。

外部链接：2303.08896，文档，链接

引用出处：§9。

[87] Y. Liu, F. Feng, L. Kong, W. Lu, J. Tang, K. Zhang, K. Murphy, C. Finn, and Y. Du (2026)

世界动作验证器：通过前向-逆向不对称实现自我改进的世界模型。

外部链接：2604.01985，链接

引用出处：§9。

[88] W. Tseng, G. Hussein, Y. Dong, A. Z. Ren, L. X. Shi, X. Wang, S. Levine, Z. Li, J. Gu, F. Shkurti, M. Liu, and Q. Vuong (2026)

SC3-eval：通过自洽视频生成评估机器人基础模型。

外部链接：2606.18610，文档，链接

引用出处：§9。

附录

附录 A 局限性与未来工作

当前框架存在若干局限，这也为未来工作指明了方向。首先，它假设可以访问评分 token 的 logits，这就排除了若干只能通过受限 API 使用的前沿模型；在附录 B.6 中，我们描述了一种简单的两阶段变通方案，通过将闭源模型的推理路由到一个 logits 可访问的开源验证器，从而恢复了大部分收益。其次，所提出的扩展轴并非穷尽无遗：评判标准分解可以是学习得到的，或按领域动态生成的，而非手工设计；重复评估也可以替换为一种由验证器自身不确定性引导的自适应计算分配策略。最后，尽管我们已经表明验证器可以作为强化学习的稠密奖励，但我们的实验仅限于单轮设置；将其扩展到多轮强化学习——即验证器在长时程智能体 rollout 中提供逐步奖励，以塑造众多相互依赖动作之间的信用分配——是未来工作中一个很有前景的方向。

附录 B 补充结果与分析

B.1 在 Terminal-Bench V2 上的智能体框架泛化性

为验证 LLM-as-a-Verifier 的收益并非绑定于特定的智能体脚手架，我们在主结果所用的 Capy 脚手架之外，又采用两个额外的框架重复了 Terminal-Bench V2 评估，每个框架均搭配其作者所调优的模型：Terminus-Kira 搭配 Claude Opus 4.6，Terminus-2 搭配 GPT-5.3-Codex。在每种情况下，我们对每个任务采样 N{=}5 条轨迹，并应用相同的 Gemini 2.5 Flash 验证器，参数为 G{=}20、K{=}8，以及第 4.3 节的三标准分解；只有提议生成器和框架发生变化。表 8 报告了由此得到的验证器准确率，以及 Claude Opus 4.6 和 Gemini 3.1 Pro 在每种框架下的官方单轨迹准确率。

表 8：在 Terminal-Bench V2 上的 harness 泛化。LLM-as-a-Verifier 在两个额外 harness 上显著提升了准确率，Terminus-2（71.2\%）和 Terminus-Kira（79.4\%）。

尽管两个 harness 在设置、观测格式和模型上各不相同，验证器在两者上均带来了相同的定性增益。Terminus-Kira（Opus 4.6 提议）相比最强基线提升约 5 分，而 Terminus-2（GPT-5.3-Codex 提议）——绝对性能较弱的 harness——仍比 Gemini 3.1 Pro 提升 2.7 分，比 Claude Opus 4.6 提升 8.3 分。这种迁移表明，验证器推理的是终端状态和任务进展，而非 scaffold 特定的句法模式：同一提示模板可泛化到风格迥异的 rollout 上。

B.2 概率枢轴锦标赛：预算–准确率权衡

我们提供 LLM-as-a-Verifier 流水线的完整伪代码。算法 1 将式 3.1 的细粒度奖励——即对验证器评分 token 分布的期望，在 C 个标准和 K 次重复评估上取平均——嵌入到采用环形枢轴选择的概率枢轴锦标赛中：随机哈密顿环为每个候选赋予一个“A”位置和一个“B”位置，以抵消验证器的位置偏差；按环平均偏好排序的前 k 个候选构成枢轴集 \mathcal{P}，其余每个候选仅使用式 3.2 的 Bradley–Terry 偏好与 \mathcal{P} 进行比较。返回计数归一化得分最高的轨迹，将预算从 \mathcal{O}(N^{2}) 降至 \mathcal{O}(Nk)，同时将验证集中在最可能正确的候选上。

算法 1 基于环的枢轴选择概率枢轴锦标赛。首先对一条随机哈密顿环进行评分，使每个候选者获得一个“A”位置和一个“B”位置；按环平均偏好排名前 k 的候选者成为枢轴，其余每个候选者仅使用式 3.2 的软偏好概率与枢轴集合进行比较。

1: 任务 x；生成策略 \pi_{\theta}；验证器 LM p_{\theta}；评分 token V_{\text{score}} 及映射 \phi；准则 \mathcal{C}；候选者数 N；重复次数 K；枢轴数 k

2: 选出的轨迹 \tau^{\star}

3: for i=1,\ldots,N do \triangleright 候选者生成

4: 采样 \tau_{i}\sim\pi_{\theta}(\cdot\mid x)

5: end for

6: 初始化 w_{i}\leftarrow 0,\ c_{i}\leftarrow 0，对 i\in\{1,\ldots,N\}

7: 采样 \{1,\ldots,N\} 的随机排列 \gamma \triangleright 环遍历

8: \mathcal{E}_{\text{ring}}\leftarrow\{(\gamma_{t},\gamma_{t+1\,\mathrm{mod}\,N}):t=1,\ldots,N\}

9: for 每个配对 (i,j)\in\mathcal{E}_{\text{ring}} do

10: (R_{i},R_{j})\leftarrow\big(R(x,\tau_{i}),\,R(x,\tau_{j})\big) \triangleright 通过式 3.1 计算奖励

11: p\leftarrow\sigma(R_{i}-R_{j}) \triangleright 式 3.2

12: w_{i}\mathrel{+}=p,\ w_{j}\mathrel{+}=1-p,\ c_{i}\mathrel{+}=1,\ c_{j}\mathrel{+}=1

13: end for

14: \mathcal{P}\leftarrow 按 w_{i}/c_{i} 排名前 k 的候选者 \triangleright 基于环的枢轴选择

15: \mathcal{E}_{\text{piv}}\leftarrow\big(\{(i,p):i\!\notin\!\mathcal{P},\,p\!\in\!\mathcal{P}\}\cup\{(p_{1},p_{2})\!\in\!\mathcal{P}^{2}:p_{1}<p_{2}\}\big)\setminus\mathcal{E}_{\text{ring}}

16: for 每个配对 (i,j)\in\mathcal{E}_{\text{piv}} do \triangleright \mathcal{O}(Nk) 枢轴轮次

17: (R_{i},R_{j})\leftarrow\big(R(x,\tau_{i}),\,R(x,\tau_{j})\big) \triangleright 通过式 3.1 计算奖励

18: p\leftarrow\sigma(R_{i}-R_{j}) \triangleright 式 3.2

19: w_{i}\mathrel{+}=p,\ w_{j}\mathrel{+}=1-p,\ c_{i}\mathrel{+}=1,\ c_{j}\mathrel{+}=1

20：结束循环

21：返回 \tau^{\star}\leftarrow\tau_{i^{\star}}，其中 i^{\star}\in\arg\max_{i}\,w_{i}/c_{i}

我们刻画了概率枢轴锦标赛（Probabilistic Pivot Tournament，PPT，算法 1）在预算与准确率之间的权衡，并将其与 V1 基线 Singh 等人 [5] 进行比较。我们在 Terminal-Bench V2（89 个任务，Terminus-2 测试框架）上为每个任务构建了 N=20 条候选轨迹，并在表 9 中报告了查询对总数与选择准确率。随着枢轴数量的增加，PPT 稳步提升，在可比验证预算下优于 V1。仅需 k{=}3，PPT 就已超过 V1 的最佳结果，以 4{,}723 个查询对达到 66.17\% 的准确率。进一步增加枢轴数量可继续提升准确率：k{=}5 使用 6{,}609 个查询对达到 66.27\% 的准确率，而 k{=}9 使用 9{,}630 个查询对达到 67.13\% 的准确率，在比较次数大幅减少的情况下接近完整循环赛的性能。

表 9：概率枢轴锦标赛（PPT）随枢轴数量扩展，在 Terminal-Bench V2 上随着 k 增大而获得更高准确率，同时保持较低的验证预算。

B.3 将 LLM-as-a-Verifier 用作过程奖励模型与结果奖励模型

我们将 LLM-as-a-Verifier 作为过程奖励模型（PRM）用于智能体任务的逐步验证，并作为结果奖励模型（ORM）用于编程与数学基准上的 Best-of-N。作为 PRM 使用时，pass@1 随每步采样动作数 k 单调提升：当 k 从 1 增至 9 时，在 TauBench 上从 48.7\% 提升至 55.7\%，在 Terminal-Bench 上从 49.8\% 提升至 54.3\%（表 10），且计算量比 V_{1} [5] 少 3\times。作为 ORM 使用时（表 11），相比基础模型，它在 SWE-Bench Lite 上提升 pass@1 达 9.5\%，在 AIME 上提升 18.5\%，在 HMMT 上提升 21.3\%，并优于逐点与成对基线，同时在计算量少 1.5\times 的情况下将验证准确率较 V_{1} 提升 +6.2 个点。

表 10：LLM-as-a-Verifier 作为 PRM：pass@1 随每步采样动作数量的增加而提升。使用 LLM-as-a-Verifier 进行逐步验证时，pass@1 随候选动作数量 k 的增加而单调上升。

表 11：LLM-as-a-Verifier 作为 ORM 提升了编码与数学基准上的 pass@1 准确率。在 Best-of-N 采样下，LLM-as-a-Verifier 优于基础模型以及逐点/成对验证器基线，相较基础模型在 SWE-Bench Lite 上绝对提升 9.5\%、在 AIME 上提升 18.5\%、在 HMMT 上提升 21.3\%，同时使用的验证预算比 V_{1} [5] 更小。

B.4 案例研究：query-optimize

本附录对第 4.1 节中的 query-optimize 案例研究进行扩展，给出完整任务说明、真值分解以及验证器推理轨迹。轨迹对在 OpenHands 框架下采集，由 Claude Opus 4.5 作为提案生成器，Gemini 2.5 Flash 作为验证器。

任务指令。

你将获得以 SQLite 格式存储的 Open English Wordnet（OEWN）数据库，位于 /app/oewn.sqlite。

我实现了一条 SQL 查询，但它没有经过优化。我已将其保存在 /app/my-sql-query.sql。请在确保产生相同输出的前提下，使该查询尽可能高效。

请将你的解决方案保存到文件 /app/sol.sql。该文件不得包含任何注释，只能包含一条以分号结尾的 SQL 查询。

最后，请使用 SQLite 语法！如果你使用其他方言，你的代码将无法在 SQLite 中执行。

真值分解。

两条候选轨迹都保存了优化后的 SQL 查询，并报告通过了内部 diff 检查，但 Terminal-Bench 的隐藏评分器将奖励 1 分配给其中一条，将奖励 0 分配给另一条。失败轨迹的验证步骤在方法上不严谨：

• 该智能体尝试对 /app/oewn.sqlite 运行原始查询两次（60 秒超时，随后 5 分 02 秒），两次都中止了。

• 为获得参考输出，agent 运行 cp /app/oewn.sqlite /tmp/oewn_test.sqlite，然后在副本上对 senses(wordid)、senses(synsetid) 和 synsets(synsetid) 执行 CREATE INDEX。

• 后续步骤将（在带索引副本上运行原始查询）与（在规范、无索引数据库上运行优化查询）进行比较——这是两条不同的物理访问路径，其并列的 ORDER BY 键在 LIMIT 500 边界处不保证以相同方式打破平局。

• 随后所有验证产物都被删除（rm /tmp/oewn_test.sqlite /tmp/original_output.txt /tmp/optimized_output.txt），从而移除了任何可供复查的证据。

• 因此，优化查询从未真正在 Terminal-Bench 评分器所使用的规范、无索引数据库上与原始查询进行验证，sol.sql 未能通过隐藏测试。

正确的轨迹只是等待整整 5m03s，让原始查询在规范数据库上完成，并在退出前运行直接 diff（退出码 0）。

Gemini 2.5 Flash 推理轨迹。

在 16 条启用思考的推理轨迹中，验证器可靠地识别出这一健全性问题。摘录：

“agent 无法在合理时间范围内在所提供的 /app/oewn.sqlite 数据库上完整执行原始查询（它被中断了两次，一次在 60 秒后，一次在 5 分 2 秒后）。为获得用于比较的参考输出，agent 复制了数据库（……），然后向这个复制的数据库添加了索引。……通过修改数据库来获得参考输出，agent 违反了任务的隐含约束。因此，它没有正确验证其优化查询产生的输出与在原始、无索引数据库上运行的原始查询相同。”

B.5 在 RoboRewardBench 上扩展重复评估与视觉上下文

图 10 将第 4.2 节的重复评估分析扩展到机器人操作。在 RoboRewardBench 上，轨迹偏好准确率从 K{=}1 时的 81.5\% 上升到 K{=}8 时的 87.4\%，并在 K 较大、达到噪声底限后趋于饱和。LLM-as-a-Verifier 在每个预算下都优于 LLM-as-a-Judge 以及训练基线 TOPReward、RoboReward-8B 和 Robometer-4B，这表明尽管输入从文本变为多帧视频，重复评估带来的增益仍能干净地跨模态迁移。

图 10：随着重复评估次数 k 增加，轨迹偏好准确率持续提升，从 k{=}1 时的 81.5\% 上升到 k{=}8 时的 87.4\%。LLM-as-a-Verifier 在所有预算下均优于 LLM-as-a-Judge 以及先前的奖励模型（TOPReward、RoboReward-8B、Robometer-4B），且增益在 k 较大时趋于饱和。

B.6 为受 Logit 限制的前沿模型恢复连续奖励

LLM-as-a-Verifier 需要访问验证器的评分 token logits，以便评估式 3.1。越来越多前沿模型（包括 GPT-5.5 和 Claude Opus 4.7）通过其公开 API 仅暴露采样得到的补全结果，而不返回 token 级 logprobs，这使得无法直接原地替换验证器骨干。我们描述一种简单的两阶段变通方法，通过将推理与评分解耦，恢复大部分校准后的奖励信号。

两阶段流水线。

对于每一对 (\tau_{i},\tau_{j})，我们首先用标准成对模板提示闭源模型（GPT-5.5），要求它先输出一段自由形式的 <reasoning>…</reasoning> 块，对两条轨迹进行分析，然后再给出一个离散的 1–10 分数。随后，我们将任务、两条轨迹以及闭源模型的推理一并转发给一个开放验证器（Gemini 2.5 Flash，G{=}20），并读取其在 <score_A> 和 <score_B> 位置上的 logprobs，以计算式 3.1 的连续奖励。第一阶段贡献来自前沿模型的领域特定推理质量；第二阶段则提供闭源 API 所不公开的校准概率分布。

设置与发现。

我们在贯穿第 4.2 节所使用的同一 Terminal-Bench V2 swing-pair 套件上进行评估。对于每一对，我们用 GPT-5.5 生成 16 条独立推理轨迹，并用 Gemini 2.5 Flash 进行 16 次独立的第二阶段评估，然后对每条轨迹在 K\!\in\!\{1,2,4,8,16\} 子采样分数上取平均，并检查是否 \bar{R}(x,\tau_{\text{correct}})>\bar{R}(x,\tau_{\text{incorrect}})。平均准确率和并列率是在每个 K 的 400 次 bootstrap 子采样上估计的。表 12 显示，该变通方法在每个预算下都优于离散基线。在 K{=}1 时，将推理经由 Gemini 2.5 Flash 路由，相比直接使用 GPT-5.5 的整数分数，恢复了 +5.2 个百分点的准确率提升（80.1\% 对 74.9\%），并消除了闭源模型粗糙输出所带来的 10.9\% 并列率。连续变体几乎立即饱和——准确率从 K{=}1 到 K{=}16 仅变动 1.1 个百分点——而离散变体则依赖重度集成（从 K{=}1 到 K{=}16 提升 +4.2 个百分点），主要用于打破并列。即使在 K{=}16 时，连续变通方法仍领先 +2.1 个百分点，并保持零并列。

表 12：在 Terminal-Bench V2 上，随着重复评估次数 K 从 1 增至 16 时的准确率与平局率。GPT-5.5 (Discrete) 对 GPT-5.5 返回的 1–10 整数分数取平均；GPT-5.5 \rightarrow Gemini 2.5 Flash (Continuous) 将 GPT-5.5 的推理转发给 Gemini 2.5 Flash，并从其评分 token 的 logits 中读取连续奖励。

B.7 将 LLM-as-a-Verifier 用作 RL 的稠密奖励

本附录详述第 7 节的 RL 实验。在两种设置中，基线方法与我们的方法之间唯一的区别在于奖励：策略、优化器、超参数、评估协议以及随机种子均保持固定。

离策略 RL（DSRL-SAC）。

我们使用 DSRL-SAC 在 LIBERO-90 ketchup 任务上微调 \pi_{0} 策略。验证器为通过 SGLang 部署的 Qwen 3.6 35B，查询时传入任务指令以及每次 rollout 中均匀子采样的 N_{f}{=}10 帧渲染图像；每帧的补全结果按式 3.1 的粒度 20 量表评分，解码为 top-20 评分 token logprobs 上的期望值，评估重复 K=3 次，系数 \lambda{=}1（式 7.1）。默认对成功的 rollout 应用奖励塑形；对所有 rollout（成功与失败）进行重标注是代码库中的一个可选变体。重标注后的转移被写入 SAC 回放缓冲区，critic 在塑形后的回报上进行训练。每种条件运行 5 个种子至 1.5\mathrm{M} 环境步，并报告模拟器成功率的跨种子均值。

在策略 RL（GRPO）。

我们在 Hendrycks MATH 上使用 Tinker 以 GRPO 对 Qwen3-8B 进行微调，组大小 M{=}16，每个优化批次 64 组，学习率 2\times 10^{-5}，最大生成长度为 512 个 token。对于每一组补全，Gemini 2.5 Flash 通过概率枢轴锦标赛（式 3.2）对推理轨迹进行评分。该偏好在同一组内被标准化，并以权重 \beta=0.1 加入正确性与格式奖励（式 7.2）。