摘要
针对文本生成视频(T2V)中奖励模型在细粒度语义对齐上的不足,本文指出其存在未系统验证提示条件及视觉证据隐式化两大缺陷。为此,提出 SG-PVR 模型,采用基于时空场景图的“规划 - 验证”推理框架。该方法将提示分解为原子主张以确保全面检查,并提取包含实体、属性及时序关系的时空场景图作为持久结构化视觉参考。通过将主张与视频及场景图对比,使判断锚定于显式视觉证据。实验表明,SG-PVR 在语义对齐尤其是细粒度时序语义上表现优异,作为重排序器显著提升了 T2V 生成的组合对齐能力。
AI 推荐理由
提出基于时空场景图的规划与验证推理机制,核心解决细粒度语义对齐中的推理缺陷。
研究机构
Department of Artificial Intelligence, Korea University
Department of Statistics, Korea University
论文信息