摘要
视觉语言模型应基于具体的图像证据而非语言先验或数据集捷径进行回答。现有感知感知的后训练方法虽鼓励使用图像,但未验证答案是否因果依赖于局部证据。本文提出反事实证据解离(CED),一种训练时的证据审计机制。CED通过中和对象中心证据区域并对比支持度下降,结合GRPO奖励正确且依赖证据路径的答案。该方法无需特定标注且无推理开销,在多个基准上优于现有强化学习方法。
AI 推荐理由
论文核心解决视觉推理中的因果依赖问题,通过反事实证据解离提升模型基于图像证据的逻辑推理能力。
研究机构
复旦大学
清华大学
腾讯
新加坡国立大学
浙江大学
论文信息