摘要
针对现有自进化多模态模型依赖语言先验而非视觉内容导致“视觉欠条件”的问题，本文提出 VISE 框架。该方法无需外部奖励模型或标注，通过几何不变性和语义不变性两种奖励机制，直接正则化模型的视觉条件策略。实验表明，VISE 在多个基准测试中显著提升了图像描述和视觉问答性能，有效减少了物体幻觉，并具备良好的泛化能力。
AI 推荐理由
论文提出纯无监督自进化框架 VISE，核心解决自进化多模态模型中的视觉欠条件问题。
研究机构
Mohamed bin Zayed University of Artificial Intelligence
Aalto University
Australian National University
Linköping University
论文信息