带有元认知反馈的强化学习激发大语言模型忠实的 Uncertainty 表达

针对大语言模型在元认知能力上的缺陷，如高置信度幻觉及无法准确表达不确定性，本文提出了两种新机制：基于元认知反馈的强化学习（RLMF）和元认知数据选择。RLMF 利用模型对自身表现的评估质量来优化偏好排序，而数据选择则据此筛选高价值训练样本。研究聚焦于忠实校准任务，采用两阶段解耦方法，先校准自信分数的忠实度，再映射为自然的语言不确定性。实验表明，该方法在保持准确率的同时实现了最先进的校准效果，显著优于标准强化学习，有效提升了模型的自我评估与适应能力。