通过强化学习实现视觉语言模型的视觉接地自反思

大型视觉语言模型虽能通过思维链进行多模态推理，但其自反思能力常因忽视视觉输入而受限，难以有效修正错误。为此，本文提出 VRRL 强化学习框架，包含两个关键组件：一是随机掩码轨迹前缀以强调从错误中恢复；二是引入经验回放缓冲区的滚动策略以暴露多样失败状态。实验表明，该方法在表格图表理解及空间导航任务中，显著提升了分布外数据的准确率，优于标准强化学习及常规微调基线。