摘要
验证器引导的强化学习已成为提升大语言模型推理能力的强大范式。在多轮设置中,模型每轮后获得验证器评分并迭代优化输出。尽管评分提供密集反馈,但未直接提供密集信用(credit):评分衡量当前输出质量,而信用应衡量当前回合如何改变优化轨迹。本文提出TCPO,一种用于验证器引导的多轮RL的回合级信用分配方法。TCPO将信用分配视为评分到信用的转换,通过基于参考的比较构建回合级优势:回溯信用捕捉相对于最佳先前状态的即时进展和倒退;前瞻延迟信用识别后期有收益的非改进回合;选择性固定历史反事实估计则细化高惊讶度回合。实验表明,TCPO在多种模型规模和任务域上表现优异。
AI 推荐理由
论文核心解决多轮强化学习中验证器评分与信用分配的映射问题,旨在提升LLM在数学推理等任务中的最终推理能力。
研究机构
Moore Threads AI
论文信息