Multimodal Reasoning Reinforcement Learning Process Reward Model Self-Correction
摘要

针对现有强化学习方法仅基于最终答案正确性进行二元奖励评估、忽略中间推理步骤监督的问题,本文提出StructReward框架。该框架通过轻量级的数值、符号和词汇匹配规则,将生成的解题步骤与参考步骤对齐,生成密集的过程奖励信号。结合门控组相对策略优化(GRPO)目标,并回收策略 rollout 数据用于响应比较和反思性自我纠正,同时利用强LLM重写轨迹以增强反思能力。该方法无需额外验证器或外部LLM裁判,显著降低了计算开销,实验表明其能有效提升多模态推理的自我改进能力。

AI 推荐理由

论文核心聚焦于多模态推理能力的提升,通过结构化过程奖励优化推理步骤,直接增强模型的逻辑推理性能。

研究机构
武汉理工大学
论文信息
作者 Yifan Li, Ruxin Sun, Tongzhou Zhao
发布日期 2026-08-08
arXiv ID 2608.08326
相关性评分 9/10 (高度相关)