摘要
预训练视频生成器作为视觉世界模型虽具 emergent 任务求解能力,但依赖详细文本描述限制了其在规划决策中的直接应用。现有方法或外包推理,或依赖昂贵的监督微调。本文提出一种可扩展框架,结合自蒸馏与强化学习,从无标签图像中激发任务求解能力。首先由视觉语言模型生成候选任务及逐步解法,指导预训练视频扩散模型(Demonstrator);随后将其行为蒸馏至仅依赖图像和简短提示的执行器(Executor)。此外,利用 VLM 反馈的强化学习进一步优化执行器。实验表明,该方法在无需 curated 数据下显著提升了模型的任务执行与迁移能力。
AI 推荐理由
论文核心在于利用世界模型进行任务求解,通过自蒸馏将详细规划转化为指令驱动的执行,直接解决规划与决策问题。
研究机构
Department of Computer Science, University of Bern
论文信息