通过发现和重放潜在动作实现LLM推理的内化

将推理过程内化为隐藏状态已成为提高测试时计算效率的重要范式。然而现有激活引导方法依赖静态控制向量，难以适应复杂推理任务的非平稳演变。为此，我们提出STIR（用于内部推理的自蒸馏工具），将推理增强重新表述为动态潜在轨迹控制问题。STIR引入了一个协同的三阶段流程：（1）差分内在动作诱导提取潜在推理成功案例以固化引导原语；（2）稀疏控制基构建精选出一个紧凑且几何多样化的工具库；（3）价值调制轨迹干预通过锚点门控动态注入上下文相关的脉冲。在四个代表性模型上的六个算术和逻辑基准测试中，STIR在保持平均准确率提升1.9%至7.5%的同时，减少了高达35%的平均token消耗。这些结果表明，通过动态潜在轨迹控制可以实现显式推理链的好处，在不显式生成的情况下实现更高的保真度。