摘要
视频问答要求模型将语言查询定位到视觉证据上,并在必要时跨时间推理。现有方法依赖长文本思维链,但许多问题在定位相关对象或帧后即可回答。本文提出动态潜在推理(DyLaR),首先通过感知潜在状态定位证据,然后自适应决定是否追加推理潜在状态。该方法通过强化学习优化推理时机,在九个基准测试中显著提升了准确率,同时将响应长度从千级token降至20以下,实现了高效推理。
AI 推荐理由
论文核心提出动态潜在推理机制,自适应决定何时进行推理,直接优化推理效率与准确性。
研究机构
Rice University Computer Science Department
Georgia Institute of Technology College of Sciences
论文信息