量化膨胀了推理：低比特推理模型的隐藏成本——Token 膨胀

量化虽能降低大语言模型推理成本，但对推理模型的影响常被忽视。本文发现，低比特后训练量化会引发隐藏的测试时计算成本：即使答案正确，量化模型生成的思维链往往更长。在数学、代码及代理工具使用基准测试中，INT4/INT3 量化虽保持准确率，却增加了推理 Token 用量，抵消了预期的速度提升。为此，我们提出“思维链 Token 膨胀率”指标，并指出量化导致推理轨迹出现更多中间步骤和语义重复，造成实际服务延迟。实验表明，量化感知训练在减少精度下降和 Token 膨胀方面最具潜力。