摘要
继 OpenAI o3 引发范式转变后,利用代码进行交错推理以增强多模态大语言模型(MLLMs)已成为研究前沿。现有工作多局限于视觉感知任务中的工具使用,依赖预定义启发式规则,难以解决数值计算问题。本文通过在代码增强的复杂数值计算任务上进行扩展强化学习训练,赋予 MLLMs 自适应交错推理能力。我们提出了包含两阶段冷启动数据构建、RL 数据集筛选策略及基于群组约束奖励函数的自适应工具调用策略的综合方案。实验表明,该方法使评估基准性能平均提升 6.1%,交错推理样本准确率提升 9.9%,工具使用成功率超 95%。
AI 推荐理由
论文核心提出自适应交错推理机制,通过强化学习提升多模态模型的数值推理能力。
研究机构
Independent Research
论文信息