摘要
视频世界模型旨在基于用户动作和历史帧预测未来状态，但长期生成中常因缺乏记忆导致场景不一致。现有规则式检索方法难以应对遮挡和动态物体。本文提出 MemLearner，一种基于学习的自适应上下文查询方法，利用查询令牌桥接上下文与预测令牌。该方法复用预训练视觉先验，无需从头训练额外模块，并设计了高效训练推理策略。实验表明，其在复杂场景下的 consistency 和记忆能力显著优于 prior 方法。
AI 推荐理由
论文核心解决视频世界模型的记忆缺失问题，提出自适应上下文查询机制。
研究机构
香港大学
复旦大学
浙江大学
昆山杜克大学
论文信息