Tool Use Reinforcement Learning Multimodal Verification Scientific Claims
摘要

多模态科学主张验证(MSCV)要求模型利用论文中的图表及文本证据验证科学主张。现有方法常因难以定位关键视觉证据或整合多模态信息而失效。本文提出 ToolSciVer,首个用于 MSCV 的工具增强框架。该框架为视觉语言模型配备三种类型感知视觉工具(表格行列聚焦、图表结构解析、高分辨率区域缩放),将密集视觉信息转化为明确证据,并利用组相对策略优化(GRPO)结合复合奖励函数进行训练。实验表明,该方法在多个数据集和模型家族上均优于现有基线,证明了学习型类型感知工具使用的有效性。

AI 推荐理由

论文核心在于通过强化学习训练 Agent 使用特定视觉工具,属于典型的技能学习与工具增强研究。

研究机构
The Pennsylvania State University University of Waterloo
论文信息
作者 Binglin Zhou, Peng Shi, Ryo Kamoi, Nan Zhang, Rui Zhang
发布日期 2026-07-17
arXiv ID 2607.16131
相关性评分 9/10 (高度相关)