Causal Reasoning Counterfactuals Explainability Multimodal Learning
摘要

多模态模型虽能识别面部情绪背后的动作单元(AU),但其推理依据往往缺乏忠实性。本文提出 FACR 框架,将 AU 到情绪的推理建模为反事实一致性问题。该方法基于独立诱导的因果图训练反事实忠实性目标,确保因果相关的 AU 干预能改变预测,而无关 AU 则不影响。实验表明,该目标显著提升了模型在疼痛检测及跨数据集情感任务中对因果结构的遵循度,并通过语言生成器实现了文本解释的构造性忠实。

AI 推荐理由

论文核心研究基于因果图的反事实一致性推理机制,旨在提升多模态模型解释的忠实度。

研究机构
UNBC-PAN
论文信息
作者 Van Thong Huynh, Hong Hai Nguyen, Thuy Pham, Trong Nghia Nguyen, Soo-Hyung Kim
发布日期 2026-06-14
arXiv ID 2606.15779
相关性评分 9/10 (高度相关)