摘要
现有Agent评估仅指出模型选错工具,却很少解释原因。本文引入“金丝雀工具”,即植入模型上下文协议(MCP)工具集中的诊断探针,旨在探测特定的工具选择弱点。我们构建了包含语义诱饵、参数陷阱等六类的分类法,将单一的“错误选择”转化为多维度的推理画像。通过对八种模型在120个任务上的大规模评估,研究发现:随着模型能力提升,易感性显著下降;但能力层级并非安全性的唯一预测指标;且不同陷阱类型在不同能力的模型上表现各异,证实探针测量的是推理能力而非短语识别。
AI 推荐理由
论文核心聚焦于LLM Agent的工具选择能力,这是技能学习的关键环节,通过诊断工具选择中的推理弱点来评估和提升该技能。
论文信息