TaH2

让循环大模型拥有更好的推理时扩展能力

+53%扩展斜率提升+3.4个百分点同等计算量下的提升2 → 8加深迭代，持续受益
阅读论文 查看代码 引用
关键发现

自适应深度，改善推理时扩展

增加推理时计算量、提高迭代深度上限后，TaH2 仍能持续提升准确率，而固定深度基线的增益逐渐趋缓。

Qwen3-1.7B · AIME24–26 · avg@32
4K–16K · 拟合的扩展趋势
准确率（%）
a

更好的推理时扩展

4K–16K · 拟合的扩展趋势

斜率 +53%
推理时扩展AIME24–26 的平均准确率，输出长度上限从 4K 到 16K。按准确率与计算量对数拟合，每当计算量翻倍，Standard 提升 1.79 个百分点，TaH2 M=2 提升 2.74 个百分点。
b

增加深度，拓展上限

16K 输出上限 · 改变深度上限

+3.9 个百分点
迭代深度扩展输出上限为 16K 时，Standard 准确率为 10.97%。TaH2 在深度上限为 2、4、8 时分别达到 13.78%、14.13%、14.86%，解码计算量分别为 Standard 的 1.35、1.82、3.31 倍。

后训练的上下文长度为 16K，评估时输出长度扩展至 32K。

研究动机

额外迭代，只对部分 token 有益

固定深度模型对每个 token 重复计算，即使继续迭代几乎没有收益，甚至会让预测变差。

查看 token 级分析 ↗
继续迭代后，预测如何变化？
迭代 1 → 2342 万个验证 token

“变化很小”指损失下降的绝对值 ≤ 10⁻³。这里的固定深度模型由 Qwen3-1.7B-Base 后训练得到。

不只判断“这个 token 难不难”，更要判断“再算一次有没有帮助”。

方法

学会何时继续迭代

用额外迭代带来的实际收益，让模型主干与决策器共同学习。

查看方法细节 ↗
架构左：token 级深度 · 右：一次训练步骤
TaH2 架构。左图中，每个 token 由决策器选择继续或停止；训练时，已停止的 token 额外执行一次前瞻迭代。右图中，共享主干生成隐藏状态，预测头输出 token 分布，决策器预测继续概率。已执行迭代的预测按停止概率加权，以交叉熵训练；决策器依据前瞻收益标签，以二元交叉熵训练。
决策器根据再迭代一次的收益，学习为每个 token 分配合适的深度。
01 / 重新注入

每轮迭代保留输入信息

可学习的更新器融合原始嵌入与上一轮隐藏状态。

02 / 深度监督

从迭代收益中学习

在线生成兼顾计算成本的深度标签，让决策器学会把额外计算用在有收益的地方。

03 / 融合预测

利用各轮迭代的预测

依据停止概率，对已执行迭代的预测进行加权。

从 TaH 到 TaH2，改变了什么？

TaH 分阶段训练，采用离线生成的 top-1 预测不匹配标签。TaH2 引入前瞻深度监督，让标签随当前主干的迭代收益更新，并联合训练主干、更新器和决策器。训练与推理都遵循决策器的阈值决策；扩展的双维因果注意力保证 token 位置与迭代深度上的因果关系。

推理时，继续迭代概率低于 0.5，或达到深度上限，token 就会停止。仅用于训练的前瞻计算在推理时省去。在所研究的模型规模上，更新器和决策器新增的参数不到 3%。

实验结果

计算量、准确率与延迟

从推理时扩展、训练损失和实际服务效率三方面评估 TaH2。

Qwen3-1.7B · AIME24–26 · avg@32
推理时扩展与训练损失
推理时扩展输出上限 · 4K–16K
准确率（%）
TaH2 更有效地将解码计算转化为准确率。32K 视图中，浅色曲线保留 16K 训练长度以内的结果。
训练训练步数 0
SFT 验证损失
TaH2 在整个训练过程中保持更低的验证损失。内嵌小图展示最终损失与 Standard 的差距。
实际推理服务Mini-SGLang · A800 · AIME26
运行效率

倍数均以 Standard 为基准。

准确率与实测端到端延迟
准确率与延迟
TaH2 在实际服务中取得更好的扩展效果与更高的准确率上限。所选范围内，各模型使用相同的输出上限。
跨任务与规模

跨任务与模型规模的提升

从数学推理，拓展到代码、知识问答和工具调用。

九项基准平均提升 3.2 个百分点

TaH2 M=2 · 此处训练设置与 1.7B 实验不同。

九项基准完整结果 · 4B 与 8B
Standard 与 TaH2 在 4B、8B 规模下的九项基准准确率

九项基准上的准确率，标注数值为 TaH2 相较 Standard 提升的百分点。

演示与示例

为每个 token自适应分配深度

通过生成过程录像与回答示例，观察不同 token 的迭代深度。

生成演示生成过程中的 token 级自适应深度
不同 token 可以执行不同次数的迭代，颜色表示最终迭代深度。
回答示例TaH2 M=8 · 三条采样得到的正确回答
文本随深度一同呈现，颜色越深，迭代次数越多。

研究团队

作者与团队

Yichen You1* Tianyu Fu1* Aosong Feng2* Xingtai Lv1 Xuefei Ning1† Ning Ding1† Yu Wang1†
1清华大学2耶鲁大学
*共同第一作者 · †通讯作者

引用

引用我们的工作

如果 TaH2 对您的研究有帮助，欢迎引用我们的论文。

BibTeX 
@article{you2026tah2,
  title={Improving Test-Time Scaling with Adaptive Looped Transformers},
  author={You, Yichen and Fu, Tianyu and Feng, Aosong and Lv, Xingtai and Ning, Xuefei and Ding, Ning and Wang, Yu},
  journal={arXiv preprint arXiv:2609.35748},
  year={2026}
}