Multimodal Emotion Recognition Cognitive Reasoning Rationale-Guided Learning Dual-Process Theory
摘要

多模态对话情感识别(MERC)需理解言语与非言语线索的复杂交互。现有方法多将其视为直接映射问题,忽视了人类解释情感时的因果推理。本文提出理由引导学习(RGL),基于双过程理论将情感推理分解为直觉(系统1)、语境(系统2)和整合三个维度。利用多模态大语言模型离线生成结构化理由并编码为记忆,通过使内部表征与类人推理模式对齐来指导训练。最终模型在推理时无需大模型开销。实验表明,该方法在IEMOCAP和MELD基准上达到最先进水平,且能有效检索语义正确的理由,验证了其推理能力。

AI 推荐理由

论文核心在于将情感识别转化为认知推理任务,利用双过程理论构建直觉与语境推理机制。

研究机构
Pixel Lab, Sungkyunkwan University, South Korea Visual AI Lab, Kyung Hee University, South Korea Pixel Lab, Korea University, South Korea
论文信息
作者 Sujung Oh, Jung Uk Kim, Sangmin Lee
发布日期 2026-08-11
arXiv ID 2608.10448
相关性评分 9/10 (高度相关)