Test-Time Scaling Latent Reasoning Gradient Optimization Interpretability
摘要

基于优化的潜在推理通过在测试时优化特定实例的连续状态来提升大语言模型输出,但现有方法通过解码令牌间接连接状态与推理轨迹,导致信用分配模糊。本文提出GradCuit,在提示和生成内容的隐藏表示之间插入可优化潜在状态。因果自注意力机制为每个后续令牌的log-probability提供到前置潜在状态的可微路径,使奖励加权梯度能直接分配给潜在变量。实验表明,GradCuit在五个骨干模型上平均准确率达64.5%,优于思维链提示和最强竞品,且具有更高的鲁棒性和可解释性。

AI 推荐理由

论文直接优化LLM的推理轨迹,提升逻辑推理能力,属于核心研究。

研究机构
NLCo Lab, Beijing Institute for General Artificial Intelligence Institute of Automation, Chinese Academy of Sciences School of Artificial Intelligence, Beijing University of Posts and Telecommunications School of Artificial Intelligence for Science, Peking University
论文信息
作者 Zhaoxin Yu, Qi Shen, Hengli Li, Zhaowei Zhang, Song-Chun Zhu et al.
发布日期 2026-08-03
arXiv ID 2608.02585
相关性评分 9/10 (高度相关)