面向多模态情感推理的全模态感知策略优化

针对当前面向情感的全模态大语言模型在多模态感知上的不足，本文提出了全模态感知策略优化（OPPO）框架。该方法通过强化学习显式优化多模态感知：首先，设计全模态感知奖励，将真实推理分解为细粒度视觉、声学及情感线索，奖励能语义恢复这些线索的轨迹；其次，引入全模态感知损失，对比全模态与单模态掩码输入下的策略，仅对特定模态证据 token 施加 KL 惩罚以抑制跨模态幻觉。实验表明，OPPO 在多个基准测试中达到最先进水平，显著提升了感知利用率与真实性。