摘要
连续思维链方法用简短的密集潜在表示序列替代冗长的推理轨迹。现有方法多采用间接监督，训练缓慢。本文提出 C-MTP，一种更简单快速的直接监督方法，将每个潜在变量建模为待压缩 CoT 轨迹嵌入的平均值。在简化轨迹评估中，该方法优于 prior 直接监督方法，并与较慢的间接监督方法表现相当。然而，在涉及长推理轨迹的复杂任务中，现有直接和间接监督方法性能均显著下降，揭示了当前连续 CoT 方法的局限性。
AI 推荐理由
论文核心研究连续思维链（CoT）模型的训练机制，直接针对 LLM 推理能力的压缩与优化。
研究机构
Center for Data Science, New York University
论文信息