摘要
语言模型已成为事实知识的默认接口,但其验证输出的可靠性往往高于生成能力。这种“生成 - 验证差距”(GV-gap)是近期自我改进和推理进展的基础,但其在事实知识层面的动态尚不清楚。本文聚焦于事实 GV-gap 背后的训练机制,区分其与计算及美学差距的不同。通过在获取、持续学习和更新三个训练阶段,追踪四个开源模型家族在两种规模下的生成与验证能力,发现三个普遍规律:验证先于生成被习得;验证比生成更能抵抗持续学习的影响;事实更新可能导致模型处于“多重宇宙”状态,同时认为新旧答案均正确。前沿模型的自然实验复现了这些动态,并揭示了在覆盖充分的事实上仍存在验证偏差。
AI 推荐理由
论文深入分析事实验证与生成的差距及其在持续学习中的演化,直接关联自我改进机制。
研究机构
EPFL
论文信息