pre-training formal logic model compression representation learning
摘要

针对现有预预训练任务局限性,本文提出逻辑预预训练(Logic-PPT),利用形式化推导赋予模型更丰富的结构与语言偏差。在100B-token规模下评估发现,该方法显著加速了LLM的技能获取,比标准初始化少用36B token即在语言任务上达到80%准确率。机制上,形式化推导诱导了低秩、谱集中的表示空间重组,使模型可通过剪枝实现高稀疏度下的性能保持,提升了模型的可压缩性。

AI 推荐理由

论文核心在于通过形式化推导(逻辑推理的基础)进行预训练,以增强模型的结构化推理能力和语言习得效率。

研究机构
School of Computer Science, University of Sheffield, United Kingdom
论文信息
作者 Jo-Ku Cheng, Nikolaos Aletras, Marco Valentino
发布日期 2026-08-04
arXiv ID 2608.03930
相关性评分 9/10 (高度相关)