摘要
多数投票是多采样大语言模型推理的主流无监督聚合方法。本文提出基于委托的聚合器(PPV),利用样本携带的组内字母熵和组间推理几何信号,无需黄金标签或辅助训练即可超越多数投票。该方法在 MMLU-Pro 上整体提升 1.5%,难子集提升 2.24%。通过随机委托矩阵的稳态分布选择共识答案,即使少数派在几何上更连贯也能纠正多数派的错误,有效提升了模型的逻辑推理与共识形成能力。
AI 推荐理由
论文提出基于推理几何和熵的聚合机制,显著提升多采样推理准确率,核心聚焦推理能力。
研究机构
MIT Media Lab, Cambridge, MA
论文信息