通过混合模式优势正则化缓解大型推理模型中的事实幻觉

大型推理模型（LRM）通过在最终答案前生成显式思维轨迹来提升能力，但在事实性问答中，这种思维可能导致“思维诱导幻觉”，即推翻原本正确的直接回答。本文将此现象建模为思维残差，并提出 MARGO 框架。该框架利用强化学习，通过混合包含思维与无思维的轨迹组进行优势估计，评估显式思维是否增加事实价值，从而在保留有益思维的同时抑制幻觉。实验表明，该方法显著提升了事实可靠性，同时保持了通用推理能力。