摘要
针对基于大语言模型的多智能体支付系统,现有指标仅关注最终结果或无序路由决策。本文提出“代理成功率”(ASR),一种在转换级别比较观测与预期执行序列的轨迹保真度指标。实验表明,ASR 能揭示传统指标无法发现的系统性流程跳过问题。通过 ASR 诊断指导的提示优化和确定性路由防护,显著提升了模型的任务成功率,证明了在受监管领域进行轨迹级评估的必要性。
AI 推荐理由
论文核心研究多智能体工作流执行序列与任务规划的一致性,提出轨迹保真度指标。
研究机构
新加坡管理大学计算机与信息系统学院
美国马萨诸塞州剑桥市麻省理工学院研究与发展部
论文信息