Latent Reasoning Credit Assignment GRPO Reward Modeling
摘要

潜在推理允许语言模型在连续潜在表示中进行中间推理,而非完全外显为离散思维链。然而,仅凭最终答案奖励难以准确分配此类潜在思维的信用,因为单一答案混合了思维质量与采样噪声。本文提出潜在思维信用(LTC),一种分层信用分配框架。LTC对每个提示采样多个潜在思维,固定上下文后通过平均生成答案的奖励来估计思维级期望回报。结合思维级和答案级优势进行优化,并在GRPO风格框架中实现。实验表明,LTC在数学推理和STEM任务中取得最佳准确率,有效降低了奖励估计误差。

AI 推荐理由

论文核心解决潜在推理中的信用分配问题,直接提升LLM推理能力。

研究机构
南开大学计算机科学学院 灵溪(北京)科技有限公司
论文信息
作者 Xuyang Zhao, Liting Zhang, Zichen Xu, Yong Chen, Wenjia Zeng et al.
发布日期 2026-08-03
arXiv ID 2608.01593
相关性评分 9/10 (高度相关)