摘要
工具增强的大语言模型虽扩展了能力,但常不必要地调用工具。本文探究工具使用决策是否存在可提取和操纵的稳定内部表示。研究发现,从标题锚点位置提取的 steering 向量能在多个模型和领域中双向因果控制工具调用行为,尤其在参数推理 suffice 的领域有效抑制多余调用。几何分析显示,这种因果有效性并非源于清晰的线性结构,工具调用步骤与抑制向量呈现扩散的双模态对齐,且不同工具类型具有 distinct 的内部特征。
AI 推荐理由
论文核心研究通过激活 steering 控制 LLM 的工具调用行为,直接针对技能学习中的工具使用机制。
研究机构
Department of Computer Science and Engineering, UC Santa Cruz
Department of Computer Science, UC Berkeley
论文信息