多模态推理 情感识别 强化学习 可解释性
摘要

开放词汇多模态情感识别因多模态线索模糊及潜在情境动态未观测而极具挑战。多模态大语言模型虽语义覆盖广,但常因过早依赖主导数据先验而受限,忽略关键互补情感线索。本文主张有效情感推理需超越表面关联,通过综合多重基于证据的理由来重构细微情感状态。为此,我们提出 HyDRA 架构,将推理形式化为“提议 - 验证 - 决策”协议,并利用分层奖励塑造的强化学习内化该过程,确保推理轨迹能最佳协调多模态观测。评估表明,HyDRA 在模糊或冲突场景中显著优于基线,并提供可解释的证据追踪。

AI 推荐理由

论文提出混合证据演绎推理架构,核心解决多模态情感推理问题。

研究机构
中国科学院自动化研究所
论文信息
作者 Yu Liu, Lei Zhang, Haoxun Li, Hanlei Shi, Yuxuan Ding et al.
发布日期 2026-03-17
arXiv ID 2603.16463
相关性评分 9/10 (高度相关)