摘要
大型推理模型(LRM)易产生幻觉,影响其可靠性。幻觉源于推理错误和知识缺失。为此,我们提出REIN框架,训练LRM生成包含显式自我反思的结构化推理序列,在得出最终答案前进行验证。针对知识幻觉,引入奖励机制鼓励模型在无法确定时选择“不知道”以放弃预测。实验表明,REIN在单次前向传播中显著降低幻觉率并提高选择性准确率,无需额外监督或外部搜索。
AI 推荐理由
论文核心解决大推理模型(LRM)的幻觉问题,通过反思机制优化推理过程,直接提升推理可靠性。
研究机构
浙江大学区块链与数据安全全国重点实验室
复旦大学
香港理工大学
论文信息