摘要
多智能体推理通过迭代交换和完善解决方案来提高推理可靠性。现有的自适应方法通常从查询级标签或轨迹级回报中学习路由决策,但这种粗粒度监督无法准确估计多步协作中单个算子的状态条件效用。我们提出了TreeCredit,一种用于高效自适应多智能体推理的共享前缀信用分配框架。其核心思想是通过状态匹配的后继比较来估算算子效用,而非直接将轨迹级结果归因于先前的决策。TreeCredit通过从相同中间状态扩展候选算子构建共享前缀协作树,并根据完整延续的最终正确性和累积额外成本为每个状态-算子对分配基于正确性优先的后缀信用。这些结构化信用被转化为状态局部算子偏好,以训练轻量级成对状态路由器,在推理期间动态选择下一个允许的算子。在六个推理基准上的实验表明,TreeCredit适度提高了准确率,同时大幅降低了推理成本,实现了比代表性多智能体推理方法更好的准确率-成本权衡。
AI 推荐理由
论文直接针对多智能体推理(MAR)中的信用分配问题,旨在提升推理的可靠性与效率,属于核心研究。
研究机构
中国科学技术大学
论文信息