摘要
尽管多模态大语言模型（MLLMs）进展迅速，但仍受视觉幻觉和内容伪造等不真实问题困扰。现有基于人类偏好的对齐方法（如 DPO）通常仅在最终答案层面进行优化，难以抑制早期接地阶段的错误传播。为此，本文提出接地上下文偏好优化（Groc-PO）框架，并构建包含对象接地、上下文接地及接地推理三阶段的数据集。该方法通过引入显式的多阶段偏好监督，增强了依赖上下文的推理能力，有效缓解了跨阶段错误传播，显著提升了模型的真实性和可靠性。
AI 推荐理由
论文核心解决多模态推理中的错误传播与幻觉问题，提出基于接地上下文的偏好优化框架。
研究机构
University of Science and Technology of China, Hefei, China
Xiaomi Corporation, Beijing, China
State Key Laboratory of Communication Content Cognition, People's Daily Online, Beijing, China
论文信息