quantization decoding monitoring chain of thought e-process CUSUM
摘要

低位量化虽降低小型推理模型部署成本,但会损害其思维链质量,亟需解码端监控干预。本文指出中心化 Token 对数概率增量因构造特性无法有效衡量生成轨迹健康度。作者提出一种无需训练的解码控制器,融合退化感知警报分数与校准 e 过程序列检测器。实验表明,该校准方法将误报率极高的监控转化为有效的失败轨迹检测器,显著减少重复退化信号,并在 GSM8K 任务中提升了 INT4 模型的准确率(统计上不显著),同时揭示了非终止而非循环是主要失败模式。

AI 推荐理由

论文聚焦量化推理模型的解码监控,直接解决思维链退化问题,属核心研究。

研究机构
Novelis Research, Paris, France
论文信息
作者 El Hassane Ettifouri, Ayoub Belfatmi, Mahaman Sanoussi Yahaya Alassan, Walid Dahhane
发布日期 2026-07-13
arXiv ID 2607.11317
相关性评分 9/10 (高度相关)