https://jjl357.github.io/blog/tags/test-time-scaling/ Recent content in Test-Time Scaling on JJ's Blog Hugo -- 0.152.2 zh-cn Thu, 06 Aug 2026 00:00:00 +0000 https://jjl357.github.io/blog/posts/deep-think-with-confidence---iclr26/ Thu, 06 Aug 2026 00:00:00 +0000 https://jjl357.github.io/blog/posts/deep-think-with-confidence---iclr26/ <h1 id="deep-think-with-confidence">Deep Think with Confidence</h1> <p><img loading="lazy" src="https://jjl357.github.io/blog/image/DeepConf/title.png"></p> <p><strong>Conference:</strong> <strong>ICLR 2026 Poster</strong></p> <p><strong>Paper:</strong> <a href="https://openreview.net/forum?id=8LqHs0KIM7">OpenReview</a> · <a href="https://arxiv.org/abs/2508.15260">arXiv</a></p> <p><strong>Project:</strong> <a href="https://jiaweizzhao.github.io/deepconf/">https://jiaweizzhao.github.io/deepconf/</a></p> <p><strong>Github:</strong> <a href="https://github.com/facebookresearch/deepconf">https://github.com/facebookresearch/deepconf</a></p> <p><strong>Authors:</strong> Yichao Fu, Xuewei Wang, Hao Zhang, Yuandong Tian, Jiawei Zhao</p> <h2 id="abstract">Abstract</h2> <p>推理模型的 test-time scaling 通常沿两个方向展开：一是让单条 Chain-of-Thought 更长，二是并行采样更多推理轨迹，再通过 majority voting 或 verifier 聚合答案。第二种方法也称 <strong>parallel thinking</strong> 或 self-consistency。它简单且有效，但成本随轨迹数量近似线性增加，而且普通多数投票默认每条轨迹同样可靠，低质量推理同样拥有一票。</p> <p>Deep Think with Confidence（DeepConf）提出一个无需训练、无需外部奖励模型的改进：直接读取生成模型内部的 top-k token 概率，用局部低置信度片段判断整条推理是否可靠。它包含两个工作模式：</p> <ol> <li><strong>Offline DeepConf</strong>：所有推理轨迹生成完成后，按置信度过滤低质量轨迹，再执行置信度加权投票，主要目标是提高准确率；</li> <li><strong>Online DeepConf</strong>：生成过程中维护滑动窗口置信度，当一条轨迹跌破由 warmup 样本确定的阈值时立即停止，并根据当前答案共识度决定是否继续采样，主要目标是节省推理 token。</li> </ol> <p>论文在 AIME 2024/2025、BRUMO 2025、HMMT 2025 与 GPQA-Diamond 上评测 DeepSeek-8B、Qwen3-8B/32B、GPT-OSS-20B/120B。离线模式中，GPT-OSS-120B 在 AIME 2025 上由 pass@1 的 91.8% 和 cons@512 的 97.0% 提升到 <strong>99.9%</strong>；在线模式在同一模型和数据集上将 token 数从 \(3.23\times10^8\) 降到 \(0.49\times10^8\)，节省 <strong>84.7%</strong>，准确率为 97.9%。</p>