Tool Selection Adaptability Set-Shifting Agent Evaluation
摘要

本文借鉴认知心理学中的“集转换”概念,研究 LLM 代理在会话中面对可靠工具隐性变更时的适应能力。基准测试构建了含冗余的工具库,其中多个工具可解决同一任务但隐藏可靠性不同。评估框架通过分支调度在隐蔽边界切换可靠工具组,并配对无移位对照。研究发现,代理默认在每次边界后几轮内固化为小型循环例程,调用集中度呈现离散值。文章通过计算移位后窗口路由至目标工具组的联合概率来评分集转换准确率,并在开源框架中测试了开源权重模型,揭示了不同例程下质的失败模式及工具集呈现方式对路由动态的影响。

AI 推荐理由

论文核心研究 Agent 在工具可靠性变化下的选择与适应机制,直接关联技能学习与工具使用。

研究机构
yeziwei.ml@gmail.com
论文信息
作者 Ziwei Ye
发布日期 2026-07-15
arXiv ID 2607.13396
相关性评分 9/10 (高度相关)