摘要
训练大语言模型在长程游戏中行动是迈向通用决策的关键一步,但基于可验证奖励的强化学习(RLVR)依赖稀疏的最终奖励,难以揭示具体决策的贡献。本文提出 CAST 方法,利用游戏求解器的状态价值变化生成轮次级信用信号,并将其注入 RLVR 过程。理论上证明,在软最优求解器假设下,最大化求解器优势等价于仅需标量值的策略蒸馏。实验表明,CAST 在多种游戏及零样本任务中均优于现有基线,显著提升了智能体的长程规划性能。
AI 推荐理由
论文核心解决长程游戏中的多步决策与信用分配问题,直接提升 Agent 的规划能力。
研究机构
University of Science and Technology of China
Nanjing University
Meituan, China
Wuhan University
论文信息