摘要
视觉 - 语言模型(VLM)在多模态任务中表现优异,但推理可靠性仍存不足。现有自修正方法依赖后训练或精心设计的反馈,计算成本高。本文探索情感线索能否在无额外训练下激活 VLM 潜在的自修正行为。研究发现,情感信号能有效触发更谨慎、反思性的推理。据此提出 ESC 框架,通过外部验证器检测错误并注入情感反馈,促使模型生成更优修正响应。实验表明,ESC 在安全、幻觉及多模态推理基准上显著提升了模型可靠性。
AI 推荐理由
论文核心研究利用情感信号触发 VLM 的自我修正,直接提升推理的谨慎性与可靠性。
研究机构
GenAI4HE Lab, University of Information Technology, Ho Chi Minh City, Vietnam
Ho Chi Minh University of Technology, Ho Chi Minh City, Vietnam
FAKU Lab, Vietnamese-German University, Vietnam
论文信息