多模态推理 知识图谱 人脸攻击检测 指令微调
摘要

统一人脸攻击检测(UAD)需在共享决策空间中识别物理欺骗与数字伪造,但现有方法多依赖外观相关性且缺乏证据支撑的推理。本文提出 UniShield,一种基于知识的多模态推理框架。该框架构建人脸攻击知识图谱(FAKG),关联攻击类别与诊断性视觉线索,并合成大量样本用于指令微调。此外,引入图一致性推理优化(GCRO)目标,通过奖励机制鼓励生成的推理依据与图谱线索一致,惩罚不兼容主张。实验表明,该方法在多项协议下均优于判别式基线及通用多模态大模型,显著提升了检测精度与推理可靠性。

AI 推荐理由

论文核心提出基于知识图谱的多模态推理框架,利用结构化知识增强推理一致性与可靠性。

研究机构
Shijiazhuang Tiedao University Shanghai Jiao Tong University Ningbo Institute of Digital Twin Great Bay University
论文信息
作者 Hongrui Li, Yichen Shi, Hongyang Wang, Yuhao Gao, Hui Ma et al.
发布日期 2026-05-09
arXiv ID 2605.08709
相关性评分 9/10 (高度相关)