摘要
本文提出“思维即压缩”（TaC）新范式，揭示推理模型可通过生成思维链自然压缩长上下文，无需专用模块。针对原始思维输出难以控制的问题，进一步引入约束优化框架 TaC-C，利用奖励机制引导模型生成紧凑可控的压缩内容。在四个长上下文问答基准测试中，TaC-C 显著优于现有方法，在 4 倍和 8 倍压缩率下平均 F1 分数分别提升 17.4% 和 23.4%，证明了利用内在推理能力进行上下文压缩的有效性。
AI 推荐理由
论文核心提出思维即压缩范式，利用推理过程优化上下文，属推理能力研究。
研究机构
Baidu Inc.
Beijing, China
City University of Hong Kong
Queen Mary University of London
论文信息