摘要
尽管大语言模型（LLM）的工具使用能力取得显著进展，现有基准测试仍难以完全契合真实世界场景，主要依赖模拟的理想化用户假设，缺乏面向经验的评估。为填补这一空白，本文提出 RUT-Bench，一个专为评估多样化真实用户工具调用场景设计的基准。该基准支持高保真模拟，涵盖单轮及多轮对话中的理想理性模式与异构非理想行为。对 19 个主流开源及专有模型的评估显示，无模型整体成功率超过 40%，且在面对复杂非理想输入时性能普遍显著下降。
AI 推荐理由
论文核心评估 LLM 在真实场景下的工具调用能力，直接关联技能学习中的 API 与工具使用。
研究机构
Department of Data Science, City University of Hong Kong
Hong Kong Institute of AI for Science, City University of Hong Kong
Li Auto Inc.
Beijing University of Posts and Telecommunications
Independent Researcher
论文信息