扩散大语言模型可以逐 EoS 思考

本文提出扩散大语言模型（LLM）在生成长度远超实际需求并填充结束序列（EoS）令牌时，能显著提升复杂推理任务表现。作者假设模型将 EoS 令牌表征作为隐藏草稿板进行“逐 EoS 思考”。通过在加法、实体追踪和数独任务上的实验及因果干预分析，证实了添加 EoS 令牌可增强推理能力，且其隐藏状态承载了解决问题所需的关键信息，而非无意义的填充。