摘要
为提升自主Agent在开放世界中的鲁棒性,本文提出ScrambleToolBench,一个旨在隔离行为推理的交互式终端基准测试。通过移除语义线索并引入映射漂移等动态挑战,该基准要求Agent仅通过试错交互来发现隐藏的工具行为。对最新语言模型的评估显示,成功的初始发现无法转化为稳健的适应能力;面对结构变化,Agent往往表现出信念惯性或退化为昂贵的穷举搜索,而非使用演绎策略。这表明当前Agent在推断结构变化方面存在显著的推理缺陷。
AI 推荐理由
论文核心评估Agent在动态环境中的行为推理与假设修正能力,直接关联推理机制。
研究机构
DeCLARe Lab, Nanyang Technological University, Singapore
Agency for Science, Technology, and Research (A*STAR), Singapore
论文信息