摘要
针对全模态大模型在长音视频推理中面临的证据稀疏与高保真输入成本高昂问题,本文提出 OmniReasoner 框架。该框架通过监督微调与强化学习,使模型学会先构建低成本全局预览,再按需调用“缩放”工具获取高保真局部片段以辅助回答。为解决不同采样粒度下的时间一致性难题,引入了 TimeAnchor 机制。此外,构建了时序增强数据引擎,通过视频编辑合成训练轨迹,避免了昂贵的人工标注。实验表明,该方法显著提升了答案准确率与时序定位能力。
AI 推荐理由
论文核心在于训练多模态 LLM 自主决策何时及何地调用缩放工具,属于典型的技能学习与工具使用研究。
研究机构
中国科学院大学
自动化研究所, CAS
东南大学
Shopee
清华大学
北京理工大学
论文信息