Tool Use Multimodal LLM Video Reasoning Reinforcement Learning
摘要

针对全模态大模型在长音视频推理中面临的证据稀疏与高保真输入成本高昂问题,本文提出 OmniReasoner 框架。该框架通过监督微调与强化学习,使模型学会先构建低成本全局预览,再按需调用“缩放”工具获取高保真局部片段以辅助回答。为解决不同采样粒度下的时间一致性难题,引入了 TimeAnchor 机制。此外,构建了时序增强数据引擎,通过视频编辑合成训练轨迹,避免了昂贵的人工标注。实验表明,该方法显著提升了答案准确率与时序定位能力。

AI 推荐理由

论文核心在于训练多模态 LLM 自主决策何时及何地调用缩放工具,属于典型的技能学习与工具使用研究。

研究机构
中国科学院大学 自动化研究所, CAS 东南大学 Shopee 清华大学 北京理工大学
论文信息
作者 Yu Chen, Caorui Li, Ziyu Xiong, Yidong Wang, Mingqi Gao et al.
发布日期 2026-07-21
arXiv ID 2607.19339
相关性评分 9/10 (高度相关)