审计多智能体LLM推理树优于多数投票和LLM作为法官

多智能体系统（MAS）可以显著扩展大语言模型（LLMs）的推理能力，但大多数框架仍使用多数投票来聚合智能体输出。这种启发式方法忽略了推理轨迹中的证据结构，并在虚假共识下表现脆弱，即智能体共享相关偏差并收敛于相同的错误理由。本文提出AgentAuditor，它通过一个显式表示智能体轨迹之间一致性和分歧的推理树进行路径搜索，取代传统的投票方式。AgentAuditor通过比较关键分歧点的推理分支来解决冲突，将全局裁决转化为高效的局部验证。此外，我们还提出了反共识偏好优化（ACPO），该方法在多数失败案例上训练裁决者，并奖励基于证据的少数选择而非流行错误。AgentAuditor对MAS设置具有无关性，我们在5种流行设置中发现，其准确率比多数投票提高了高达5%，比使用LLM作为法官提高了3%。