摘要
针对现有预预训练任务局限性,本文提出逻辑预预训练(Logic-PPT),利用形式化推导赋予模型更丰富的结构与语言偏差。在100B-token规模下评估发现,该方法显著加速了LLM的技能获取,比标准初始化少用36B token即在语言任务上达到80%准确率。机制上,形式化推导诱导了低秩、谱集中的表示空间重组,使模型可通过剪枝实现高稀疏度下的性能保持,提升了模型的可压缩性。
AI 推荐理由
论文核心在于通过形式化推导(逻辑推理的基础)进行预训练,以增强模型的结构化推理能力和语言习得效率。
研究机构
School of Computer Science, University of Sheffield, United Kingdom
论文信息