Reinforcement Learning Long-horizon Planning Credit Assignment Game Solvers
摘要

训练大语言模型在长程游戏中行动是迈向通用决策的关键一步,但基于可验证奖励的强化学习(RLVR)依赖稀疏的最终奖励,难以揭示具体决策的贡献。本文提出 CAST 方法,利用游戏求解器的状态价值变化生成轮次级信用信号,并将其注入 RLVR 过程。理论上证明,在软最优求解器假设下,最大化求解器优势等价于仅需标量值的策略蒸馏。实验表明,CAST 在多种游戏及零样本任务中均优于现有基线,显著提升了智能体的长程规划性能。

AI 推荐理由

论文核心解决长程游戏中的多步决策与信用分配问题,直接提升 Agent 的规划能力。

研究机构
University of Science and Technology of China Nanjing University Meituan, China Wuhan University
论文信息
作者 Yu Wang, Yi-Kai Zhang, Wentao Shi, Ziang Ye, Yuchun Miao et al.
发布日期 2026-07-28
arXiv ID 2607.25308
相关性评分 9/10 (高度相关)