摘要
多模态对话情感识别(MERC)需理解言语与非言语线索的复杂交互。现有方法多将其视为直接映射问题,忽视了人类解释情感时的因果推理。本文提出理由引导学习(RGL),基于双过程理论将情感推理分解为直觉(系统1)、语境(系统2)和整合三个维度。利用多模态大语言模型离线生成结构化理由并编码为记忆,通过使内部表征与类人推理模式对齐来指导训练。最终模型在推理时无需大模型开销。实验表明,该方法在IEMOCAP和MELD基准上达到最先进水平,且能有效检索语义正确的理由,验证了其推理能力。
AI 推荐理由
论文核心在于将情感识别转化为认知推理任务,利用双过程理论构建直觉与语境推理机制。
研究机构
Pixel Lab, Sungkyunkwan University, South Korea
Visual AI Lab, Kyung Hee University, South Korea
Pixel Lab, Korea University, South Korea
论文信息