摘要
交错思维让统一多模态模型在文本推理与视觉生成间交替,但在复杂长链场景中易出现“模态隔离”:生成图像偏离文本语境,后续文本亦忽视视觉证据。本文将该问题归因于模态边界处的信息累积丢失,提出模态转换损失以量化跨模态幻觉与视觉利用不足。为此,作者提出 MoTiF 框架,包含反思式 SFT 与 Flow-GRPO 两阶段训练,直接优化模态转换的保真度而非最终任务准确率。实验表明,该机制显著提升了跨模态一致性与任务表现。
AI 推荐理由
论文核心解决多模态交错推理中的模态隔离问题,通过优化模态转换提升推理连贯性。
研究机构
上海人工智能实验室
上海交通大学
中国科学院大学
论文信息