Multi-Modal Reasoning Reinforcement Learning Vision-Language Models Self-Supervision
摘要

针对视觉语言模型在几何推理中表现不佳且不同模态视图(文本、图像、组合)行为不一致的问题,本文构建了高质量配对数据集 ODA-Data。提出了模态感知互惠推理优化(MIRROR)方法,这是一种基于自监督的强化学习策略。该方法评估各视图表现,选取最优视图作为教师,利用反向 KL 散度训练其他视图向教师对齐。实验表明,MIRROR 在几何推理基准上优于标准强化学习,显著提升了模型跨模态推理的准确性与一致性。

AI 推荐理由

论文核心解决多模态推理不一致问题,提出新优化方法显著提升几何推理能力。

研究机构
University of Southern California
论文信息
作者 Wen Ye, Yuxiao Qu, Aviral Kumar, Xuezhe Ma
发布日期 2026-07-23
arXiv ID 2607.21552
相关性评分 9/10 (高度相关)