摘要
针对视觉语言模型在几何推理中表现不佳且不同模态视图(文本、图像、组合)行为不一致的问题,本文构建了高质量配对数据集 ODA-Data。提出了模态感知互惠推理优化(MIRROR)方法,这是一种基于自监督的强化学习策略。该方法评估各视图表现,选取最优视图作为教师,利用反向 KL 散度训练其他视图向教师对齐。实验表明,MIRROR 在几何推理基准上优于标准强化学习,显著提升了模型跨模态推理的准确性与一致性。
AI 推荐理由
论文核心解决多模态推理不一致问题,提出新优化方法显著提升几何推理能力。
研究机构
University of Southern California
论文信息