摘要
可复用技能已成为扩展语言代理任务流程的标准接口。然而,现有评估多基于可见推理或代理自述,未能揭示技能是否真正改变决策。本文提出“推理黑箱”概念,即声明的技能使用与实际干预影响之间存在系统性差距。我们引入 BACKTRACE 评估框架,通过构建无技能反事实对照、干预技能语义及身份,并在答案确定后 eliciting 归因,以此量化技能的因果效用。在 BACKROOMBench 测试床上的实验表明,跨模型和领域普遍存在来源失效问题:声明的技能使用往往稳定,但因果依赖性和效用却波动巨大,导致“静默采纳”和“表演性使用”。
AI 推荐理由
论文核心评估技能增强型代理中技能使用的真实性与因果影响,直接针对技能学习主题。
研究机构
School of Computer Science and Informatics, University of Liverpool, UK
论文信息