compositional reasoning failure detection operad theory self-consistency
摘要

本文提出“算子一致性”(OC),一种无需真实标签即可检测大语言模型推理失败的诊断信号。基于算子理论,该方法验证模型对组合查询的直接回答与其分解后组合回答的一致性。在四个多跳问答数据集及十二个模型上的实验表明,OC 与准确率高度相关(r≥0.86),优于现有基线。该信号能提供独立于思维链自一致性的额外信息,显著提升选择性预测性能,尤其在前沿推理模型中表现稳健。

AI 推荐理由

论文提出算子一致性信号,专门用于检测和诊断大模型组合推理失败,核心聚焦推理能力。

研究机构
Incubilate, Seattle, USA University of Cambridge, Cambridge, UK Allen Institute for Artificial Intelligence, Seattle, USA
论文信息
作者 Nathaniel Bottman, Yinhong Liu, Kyle Richardson
发布日期 2026-06-11
arXiv ID 2606.13649
相关性评分 9/10 (高度相关)