差异反馈：为视觉语言模型强化学习生成多模态过程级监督

视觉语言模型（VLM）常采用类 GRPO 训练进行对齐，但仅依赖终端结果奖励会导致多步推理中信用分配稀疏，削弱视觉证据与中间步骤的关联，引发优化不稳定及视觉幻觉。本文提出“差异反馈”方法，通过修复错误推理轨迹自动生成令牌/步骤级监督掩码，明确标记需修正的关键位置。该方法无需昂贵的人工逐步标注，即可实现过程级视觉对齐，并无缝集成至现有框架。在 MMMStar 和 MathVista 等多模态推理基准上的实验表明，同等算力下平均性能提升 3%。