AURA：用于 LLM 即裁判审计的自适应不确定性感知优化

大语言模型（LLM）常被用作开放生成任务的评判者，但其偏好并非人类判断的完美代理。现有审计流程通常假设存在可靠的样本子集或干净的监督信号，这在 LLM 评估中往往不成立。本文提出 AURA，一种在有限人工验证下审计成对 LLM 评判决策的自适应不确定性感知优化框架。AURA 迭代学习人类一致性信号，传播可靠证据，并优先审查不确定的比较结果。其核心思想是将裁判的可信度视为潜在变量，随证据积累逐步优化。