摘要
多模态大语言模型(MLLMs)的视觉推理能力对下游应用至关重要,尤其是需要超越常见假设的反常识推理。现有研究多通过增强视觉输入来改进,但实证分析表明瓶颈在于共享语言解码器倾向于服从主导的语言先验而非视觉证据。为此,我们提出文本锚定的数据构建管道Fact-Frequency Distillation (FFD),并引入TACT框架。TACT通过对齐遵循证据和受先验驱动的推理轨迹进行优化,使解码器能解决先验与证据的冲突,从而在无需视觉训练数据的情况下显著提升视觉推理能力。
AI 推荐理由
论文核心解决视觉常识推理中的偏差问题,直接提升模型的逻辑推理能力。
研究机构
浙江大学
香港科技大学(广州)
蚂蚁集团
北京邮电大学
南洋理工大学
论文信息