思维速记：通过熵引导的超级令牌压缩大语言模型推理

本文指出大语言模型推理存在显著计算开销，且推理轨迹的令牌级信息结构尚未被充分探索。研究发现推理令牌可分为低熵“结构”令牌和高熵“有机”令牌。基于此不对称性，提出一种模型无关的压缩流程：利用交叉词 BPE 合并生成捕捉频繁结构模式的“超级令牌”，并通过监督微调教会模型使用。实验表明，该方法在五个数学推理基准上平均缩短推理轨迹 8.1%，且无显著精度损失。此外，超级令牌可作为可解释的推理动作标注，揭示正确与错误轨迹间的系统性差异，为强化学习训练中的奖励塑造和早期停止提供诊断信号。