LLM-as-Judge Confidence Estimation Reasoning Trace Verification
摘要

针对 LLM 作为评判器时缺乏可靠置信度评估方法的问题,本文提出 VERDI 方法。该方法无需额外推理调用,通过分解验证式评估为子检查,从已有的推理轨迹中提取步骤一致性、主张边界及证据 grounding 三个结构信号,并结合逻辑回归生成置信度。实验表明,在多个基准测试及生产系统中,VERDI 显著优于传统的 Token 对数概率方法,尤其在后者失效的场景下表现优异,且具备跨模型迁移能力。

AI 推荐理由

论文利用推理轨迹中的结构化信号评估置信度,核心依赖推理过程分析。

研究机构
Indeed Inc.
论文信息
作者 Jasmine Qi, Danylo Dantsev, Muyang Sun
发布日期 2026-05-11
arXiv ID 2605.11334
相关性评分 8/10 (高度相关)