Tool Calling Programmatic Tool Calling LLM Agents Benchmark Evaluation
摘要

工具使用使LLM能够超越训练数据执行动作,而对于具备代码能力的模型,程序化工具调用通过脚本链式并行化进一步扩展了这一能力。然而,在真实任务条件下对现有及先前模型世代进行系统性评估的研究尚属空白。本文在BFCL v4基准上,实证比较了14种语言模型的程序化工具调用(PTC)与原生的JSON工具调用。在PTC范式中,工具以类型化的Python存根形式暴露,模型通过代码调用,并在单个智能体回合内完成执行和结果处理。结果显示,PTC在14个模型中的11个上匹配或超越了原生JSON调用,GPT-5.6家族提升了10.6%。此外,在并行扇出场景下,13/14的模型表现稳定,且在上下文旋转条件下优于退化的基线。研究证明PTC是JSON调用的可行且鲁棒的替代方案。

AI 推荐理由

论文核心探讨工具调用(Tool Calling)的两种范式对比,直接关联Agent的技能获取与执行机制。

研究机构
Commercial Technology and Innovation Office, PricewaterhouseCoopers, U.S.A
论文信息
作者 Ishan Patel, Sahil Sen, Elias Lumer, Vamse Kumar Subbiah
发布日期 2026-08-06
arXiv ID 2608.06370
相关性评分 9/10 (高度相关)