表示空间中的一致性用于开放域自一致性

自一致性通过采样多个输出并选择最一致答案来提升大模型推理能力，但现有方法依赖精确匹配，局限于分类任务。本文研究代码合成与文本摘要等开放域生成任务中的自一致性，提出基于嵌入的一致性（EBA）方法，通过在嵌入空间聚类采样生成来估计一致性。实验表明，表示空间的一致性为开放域任务提供了鲁棒且可扩展的信号，优于随机选择及基于评估或不确定性估计的方法，且在不同模型家族中表现稳定。