摘要
大型多模态模型虽因整合视觉证据而增强，但现有方法依赖生成离散输出调用外部工具，导致刚性依赖和高延迟。为此，本文提出 EVA 框架，原生生成连续潜在视觉表示，将其作为推理过程中的中间视觉思维（Latent_slot tokens），并与文本令牌端到端协同优化。针对优化过程中出现的策略偏差问题，开发了 D-GSPO 算法以解耦潜在与离散组件的优化。此外，构建了涵盖多样场景的高质量数据集 EVA-230K 支持监督微调。实验表明，EVA 在显著提升性能的同时增强了推理效率。
AI 推荐理由
论文提出潜在视觉状态作为中间推理思维，核心解决多模态推理效率与依赖问题。
研究机构
Sun Yat-sen University
The Hong Kong Polytechnic University
MBZUAI
Huawei Noah's Ark Lab
Yinwang Intelligent Technology Co. Ltd.
论文信息