Skill Evaluation Causal Intervention Agent Reliability Provenance Failure
摘要

可复用技能已成为扩展语言代理任务流程的标准接口。然而,现有评估多基于可见推理或代理自述,未能揭示技能是否真正改变决策。本文提出“推理黑箱”概念,即声明的技能使用与实际干预影响之间存在系统性差距。我们引入 BACKTRACE 评估框架,通过构建无技能反事实对照、干预技能语义及身份,并在答案确定后 eliciting 归因,以此量化技能的因果效用。在 BACKROOMBench 测试床上的实验表明,跨模型和领域普遍存在来源失效问题:声明的技能使用往往稳定,但因果依赖性和效用却波动巨大,导致“静默采纳”和“表演性使用”。

AI 推荐理由

论文核心评估技能增强型代理中技能使用的真实性与因果影响,直接针对技能学习主题。

研究机构
School of Computer Science and Informatics, University of Liverpool, UK
论文信息
作者 Jinwei Hu, Yi Qi, Xinmiao Huang, Youcheng Sun, Yi Dong et al.
发布日期 2026-07-29
arXiv ID 2607.27484
相关性评分 9/10 (高度相关)