Video Editing Chain-of-Thought Multimodal LLM Spatial Reasoning
摘要

针对复杂场景中纯文本提示难以捕捉精确空间关系和物理约束的问题,本文提出一种“规划-引导-编辑”框架。该框架利用增强思维链的多模态大语言模型作为规划器,对视频和指令进行结构化推理,生成包含边界框和属性丰富编辑指令的精确序列。这些空间先验信息引导基于盒子的掩码生成器,将模糊的全局检索转化为局部、上下文感知的细化,从而更准确地捕捉物体尺度、接触关系和位置。最后,基于扩散的编辑器整合掩码、增强指令和帧特征,渲染出高保真且时空一致的编辑结果。实验表明该方法在定位精度和物理一致性上优于现有基线。

AI 推荐理由

论文核心提出plan-guide-edit框架,利用CoT进行结构化推理以生成编辑计划(边界框和指令),属于典型的任务规划与分解。

研究机构
中国科学技术大学 中关村 academy 清华大学
论文信息
作者 Sen Liang, Fengbin Guan, Youliang Zhang, Xin Li, Zhibo Chen
发布日期 2026-08-02
arXiv ID 2608.01113
相关性评分 9/10 (高度相关)