跨模态共指对齐：赋能全模态大模型可靠的信息迁移

全模态大模型（Omni-LLMs）虽具备强大的整体感知能力，但在需要协同推理的复杂场景中表现不佳。有效推理不仅依赖全局上下文，更取决于细粒度的跨模态对齐，尤其是识别跨模态共享指称对象。本文将该挑战形式化为跨模态共指问题，并引入包含九项任务及人类设计推理依据的 CrossOmni 数据集。实验揭示现有模型在此方面的系统性缺陷归因于缺乏共指感知思维模式。为此，作者提出两种策略：无需训练的上下文学习方法和基于 SFT+GRPO 的训练框架，以诱导此类思维模式。两种方法均显著提升性能并泛化至协作推理任务，证实跨模态共指是推进稳健全模态推理的关键缺失环节。