摘要
大型语言模型常对缺陷输入生成看似有效的回答，揭示了判别识别与生成行为间的“知行差距”。本文构建大规模跨学科基准 FaultyScience，证明该差距源于词元级自回归混淆了任务选择与内容生成。为此，提出 DeIllusionLLM，一种任务级自回归框架，通过自蒸馏在单一骨干网中统一判别判断与生成推理。实验表明，该方法显著减少了自然提示下的错误回答，同时保持通用推理性能，是弥合该差距的有效可扩展方案。
AI 推荐理由
论文核心解决判别与生成间的推理断层，提出任务级自回归框架提升推理可靠性。
研究机构
Penn State
UIUC
Columbia University
Episcopal Academy
论文信息