摘要
视频世界模型在模拟交互环境方面前景广阔,但在复杂相机轨迹下保持长期记忆一致性仍是关键挑战。现有方法依赖计算昂贵的上下文扩展或缺乏泛化能力的刚性启发式检索。本文提出“压缩与检索”(CaR),一种注意力驱动的隐式记忆检索机制。该方法通过位置编码注入视角信息,利用注意力计算实现灵活的记忆检索;同时引入轻量级上下文压缩网络,以最小开销处理长上下文。此外,构建了包含真实相机轨迹的大规模合成数据集 SceneFly。实验表明,该方法在基准测试中达到最先进水平,并在开放域场景中表现出强泛化能力。
AI 推荐理由
论文提出显式记忆检索机制 CaR,核心解决视频世界模型中的长期记忆一致性问题。
研究机构
华中科技大学, 中国
华中数字媒体与娱乐集团, 中国
云南大学, 中国
论文信息