LLM Agent 技能的反事实轨迹审计

针对现有 LLM Agent 技能评估仅关注通过率的局限，本文提出反事实轨迹审计（CTA）框架。该方法通过配对有无技能的执行轨迹，划分并对齐目标导向阶段，生成结构化技能影响模式（SIP）注释，以量化技能对行为的深层影响。在软件工程任务上的实验表明，尽管通过率变化微小，CTA 却揭示了技能显著重塑了 Agent 行为，识别出模板复制、离线产物创建等具体效应，将非正式的失败观察转化为可复现的行为度量。