CRAB-Bench：在复杂任务依赖与拟人用户模拟下评估 LLM 智能体

本文针对现实服务场景中 LLM 智能体评估的不足，提出了 CRAB-Bench 基准与 RUSE 用户模拟引擎。CRAB-Bench 通过约束图生成具有复杂实体依赖的任务，并引入结构化干扰项，要求智能体在数千个误导候选中精准推理以找到有效解。RUSE 则基于人类行为研究，取代了传统的合作式模板模拟器，构建了具备多样人格和行为维度的真实用户。实验表明，现有顶尖模型在该基准下通过率仅为 61%，而引入真实用户模拟后性能显著下降，主要体现为任务解决能力的不足而非对话质量的缺陷。