摘要
针对多模态智能体在视觉问答中代码操作可能冗余或误导的问题,本文提出工具增强信用优化(TACO)方法。该方法基于 GRPO 变体,包含两个耦合优势通道:差分答案探测奖励(DAPR)通过插入探测 token 自监督评估单个工具调用的贡献;结果门控优势路由(OGAR)则将最终结果奖励仅分配给负责片段。实验表明,TACO 能显著提升感知与推理基准的准确率,并学会仅在有益时调用工具。
AI 推荐理由
论文核心研究 Agent 如何优化代码工具调用,通过新奖励机制区分工具有效性,属于技能学习范畴。
研究机构
北京航空航天大学自动化学院
清华大学自动化系
论文信息