摘要
针对视频密集时序特性带来的分析挑战,现有方法因推理与感知脱节而受限。本文提出 LensWalk,一种灵活的代理框架,使大语言模型能主动控制视觉观测。该框架建立紧密的“推理 - 规划 - 观察”循环,代理动态指定每一步的时间范围和采样密度,利用基于视觉语言模型的工具集进行广域扫描、局部事实提取及多时刻证据整合。无需微调,该方法在 LVBench 等长视频基准上显著提升准确率超 5%,证明主动规划观测是解锁精准视频推理的关键。
AI 推荐理由
论文核心提出“推理 - 规划 - 观察”循环,Agent 主动规划视频观测策略,属规划能力研究。
研究机构
中国科学院计算技术研究所
鹏城实验室
湖南大学计算机科学与电子工程学院
中国科学院大学计算机科学与技术学院
论文信息