递归置信链：大语言模型中的时序感知不确定性量化

随着推理模块（如思维链机制）被应用于大语言模型，其在回答常识问题和解决数学问题等任务中表现出色。当前的主要挑战是评估答案的不确定性，以防止误导用户或产生严重幻觉。尽管现有方法通过过滤无关标记并检查相邻标记或句子之间的潜在联系来分析长推理序列，但通常忽视了置信度的时间分布，这可能导致整体置信度过高，即使早期步骤的置信度非常低。为了解决这一问题，我们提出了一种新方法，引入跨步骤注意力机制以分析语义关联，并设计了一个隐藏的置信度机制以保留历史置信度信息，将其与逐步置信度结合，从而生成更准确的整体估计。我们在GAOKAO数学基准和CLadder因果推理数据集上使用主流开源大语言模型对方法进行了评估，结果表明该方法在预测质量和校准之间取得了更好的平衡，在负对数似然和预期校准误差指标上表现优异。