摘要
多模态大语言模型(MLLMs)日益依赖长思维链进行复杂任务。然而,随着推理序列延长,模型往往减少对视觉证据的依赖而转向文本上下文,导致视觉遗忘。现有方法未能有效约束原始推理轨迹中视觉证据的使用与维护。为此,我们提出Remember-R1,一种在原始推理轨迹上施加过程级监督的强化学习框架。该框架引入奖励机制,鼓励更广泛的匹配视觉关键词覆盖、后期推理步骤中对视觉依赖的更强持续性,以及对与问题相关图像区域的更高关注度。实验表明,该方法在多尺度模型和基准测试中均显著提升了推理性能,并减缓了生成过程中视觉注意力的下降。
AI 推荐理由
论文直接针对长上下文推理过程中的视觉遗忘问题,通过强化学习优化推理轨迹中的视觉依赖,属于推理能力的核心增强。
研究机构
西北工业大学
西安, 中国
香港科技大学
香港, 中国
浙江大学
杭州, 中国
论文信息