摘要
针对多模态大模型在图表推理中面临的高质量数据匮乏及细粒度视觉定位与精确计算不足等挑战,本文提出 DuoChart 可扩展双源数据流水线,构建多样化高质量训练数据。随后引入 CharTool 框架,赋予模型图像裁剪与代码计算等外部工具能力。通过在 DuoChart 上进行代理强化学习,CharTool 学会了基于图表内容的工具集成推理。实验表明,该方法在多个基准测试中显著优于现有基线,并在域外视觉数学推理任务中展现出良好的泛化能力。
AI 推荐理由
论文核心解决图表推理难题,通过工具集成提升数值与视觉推理精度。
研究机构
X-LANCE Lab, School of Computer Science, Shanghai Han Tong University, Shanghai, China
论文信息