摘要
当前视频生成模型在单镜头生成上表现优异,但在需要连贯叙事和有效多镜头组合的电影级视频生成方面仍受限。为此,本文提出 ShotPlan,一种基于视频扩散基础模型的显式多镜头电影视频生成框架。该方法引入可学习的规划令牌,捕捉镜头级转换线索,并与原始生成令牌无缝集成以控制转换时间戳。不同于标准令牌,规划令牌配备了分数时间旋转位置嵌入(FRoPE),实现了帧级别的镜头转换建模。实验表明,ShotPlan 显著优于现有方法,提供了更灵活的镜头管理和更强的镜头间一致性。
AI 推荐理由
论文提出显式多镜头规划框架,核心创新为可学习规划令牌,直接解决视频生成中的任务规划问题。
研究机构
Harbin Institute of Technology
China Telecom
论文信息