多智能体编排的奖励建模

基于大语言模型的多智能体系统需要有效的编排以协调专用智能体，但受限于监督数据匮乏和高计算成本。本文提出编排奖励建模（OrchRM），一种无需人工标注的自监督框架，用于评估编排质量。OrchRM 利用多智能体执行过程中的中间产物构建胜负对，以训练 Bradley-Terry 奖励模型。该方法直接在编排层面操作，显著提升了训练效率与测试时扩展性能，在多个领域展现出优越的可扩展性。