摘要
多视图空间推理要求视觉语言模型跨图像比对视觉证据、对齐物体对应关系并推断长上下文中的空间关系,此场景下思维链推理往往冗长却未提升准确率。针对标准 GRPO 奖励稀疏且缺乏对推理轨迹错误位置及长度控制的问题,本文提出 LenGuard-GPC 密集奖励框架。该方法通过对比标准提示与引导提示下的 token 级预测分布,利用 KL 散度作为密集奖励信号,并引入分阶段长度bonus以在控制推理长度的同时避免单纯鼓励简短。实验表明,该方法在六个基准上均优于 vanilla GRPO,既提升了准确率又缩短了平均响应长度。
AI 推荐理由
论文核心针对多视图空间推理任务,提出改进思维链长度与一致性的强化学习框架。
研究机构
HKUST(GZ)
HKUST
UC Merced
University of Queensland
论文信息