Video Understanding Tool Orchestration Robustness Agent Framework
摘要

针对视频推理模型因盲目信任所有输入帧而在现实干扰下性能骤降的问题,本文提出 Robust-TO 框架。该框架将异构视觉感知工具整合至统一证据接口,依据可靠性 - 相关性评分筛选可信帧并生成子查询。各工具返回包含具体预测、时间定位及校准可靠性分数的标准化证据。推理阶段利用校准分数指导三层证据合成,并通过置信度 - 成本 GRPO 奖励联合优化正确性、可靠性与效率。实验表明,该方法在清洁及腐蚀数据上均显著优于现有开源基线及 Gemini-2.5-Pro。

AI 推荐理由

论文核心提出工具编排框架,动态选择与加权异构视觉工具,属技能学习范畴。

研究机构
NTU Singapore University of Minnesota, Twin Cities UNIST
论文信息
作者 Yangfan He, Yujin Choi, Jaehong Yoon
发布日期 2026-06-25
arXiv ID 2606.26904
相关性评分 9/10 (高度相关)