摘要
大型视觉语言模型（LVLMs）在解释模因或讽刺帖子时，往往仅描述图像内容而忽略作者的真实意图。标准指令微调将字面内容与语用含义混淆，导致表面细节污染最终响应。本文重构模因理解为字面 - 语用分解问题，提出“意图投影”框架，在单一 LVLM 骨干网的表示、输出和目标层面分离这两种信号。该方法通过正交投影去除单模态主导方向，保留语用残差，并引入情感分类器锚定解码器。实验表明，该框架在六个多模态基准上优于开源基线，显著缩小了与专有模型的差距。
AI 推荐理由
论文提出结构化推理链以分解字面与语用意图，核心在于提升多模态语用推理能力。
研究机构
The Chinese University of Hong Kong
Huawei
Central China Normal University
Shenzhen University
King's College London
University of International Relations
论文信息