摘要
现有基准测试多关注资料回忆或通用工具使用,本文提出UserToolBench,旨在评估LLM在工具使用中的个性化决策能力。该基准利用隐私脱敏的真实交互数据,测试模型从历史中推断潜在偏好、识别澄清需求及在信息不全时生成符合用户对齐的工具调用轨迹的能力。实验表明,当前模型在多工具协调、缺失约束推理及长期行为一致性方面仍存在显著瓶颈,强调评估应从输出风格转向决策正确性。
AI 推荐理由
论文聚焦于LLM的工具使用(Tool-Use)能力,特别是个性化决策中的工具调用轨迹生成,属于技能学习范畴。
研究机构
中山大学
南洋理工大学
华为诺亚方舟实验室
论文信息