摘要
多模态篡改检测旨在识别伪造图文对并定位篡改区域,但现有方法常依赖孤立伪影记忆,难以应对微小痕迹或域偏移。受人类对比推理启发,本文将该任务重构为基于参考的验证问题,通过对比查询与检索到的真实证据来评估真实性。提出的 REVEAL 框架专为该对比范式设计,构建了包含 17 万对真实新闻图文的大规模参考库。技术上,采用差异感知融合机制捕捉细粒度 discrepancy,并引入任务解耦的混合专家(MoE)架构,协同执行实例级检测与细粒度定位,有效缓解异构目标间的优化冲突。实验表明,REVEAL 显著优于最先进方法,且仅需更新参考库即可实现无训练域适应。
AI 推荐理由
论文核心提出基于参考的对比推理范式,虽非通用 LLM 推理,但深度依赖推理机制解决多模态检测问题。
研究机构
Bingwen Hu
Zhedong Zheng
Ping Liu
论文信息