Multimodal Reasoning Reinforcement Learning Cross-modal Coherence Interleaved Thinking
摘要

交错思维让统一多模态模型在文本推理与视觉生成间交替,但在复杂长链场景中易出现“模态隔离”:生成图像偏离文本语境,后续文本亦忽视视觉证据。本文将该问题归因于模态边界处的信息累积丢失,提出模态转换损失以量化跨模态幻觉与视觉利用不足。为此,作者提出 MoTiF 框架,包含反思式 SFT 与 Flow-GRPO 两阶段训练,直接优化模态转换的保真度而非最终任务准确率。实验表明,该机制显著提升了跨模态一致性与任务表现。

AI 推荐理由

论文核心解决多模态交错推理中的模态隔离问题,通过优化模态转换提升推理连贯性。

研究机构
上海人工智能实验室 上海交通大学 中国科学院大学
论文信息
作者 Tingyu Li, Le Zhou, Siyuan Li, Yujun Wu, Xinglong Xu et al.
发布日期 2026-06-11
arXiv ID 2606.12886
相关性评分 9/10 (高度相关)