将查询分解为工具调用以进行长视频关键帧检索

关键帧选择是为长视频问答提供可验证视觉证据的直接方式。现有方法要么针对单一查询评分所有帧，要么将查询分解为固定模式由单一视觉工具评估。本文提出 ToolMerge，一种基于分解与合并的关键帧检索方法：利用大语言模型作为规划器，将查询分解为多个工具调用，并指定如何使用布尔运算符合并各工具的排序结果。为直接评估检索效果，构建了 Molmo-2 Moments 基准，其中每个问题均锚定于特定时间区间。实验表明，ToolMerge 在多项任务中具有竞争力，尤其在字幕检索上超越其他方法 5%。