推理优化 测试时计算 错误纠正 量化模型 CUSUM 监控
摘要

量化小型自回归推理模型易陷入冗长、重复或无效的生成轨迹,而现有推理计算分配往往忽视轨迹发展过程。本文基于令牌级 e-CUSUM 控制器,提出 MGT-B(监控引导的测试时回溯)方法。该方法通过映射预采样不确定性与退化特征,利用 CUSUM 形重置积累混合投注因子,并在触发警报时估算回滚点、恢复状态并执行约束重解码。实验表明,该选择性监控修复机制在 MATH-500 数据集上显著提升了推理准确率,支持其在特定场景下的有效性。

AI 推荐理由

论文核心针对量化小模型推理中的退化轨迹,提出监控与重解码机制以提升推理准确率。

研究机构
Noveleis Research, Paris, France
论文信息
作者 El Hassane Ettifouri, Ayoub Belfatmi, Mahaman Sanoussi Yahaya Alassan, Walid Dahhane
发布日期 2026-07-22
arXiv ID 2607.20129
相关性评分 9/10 (高度相关)