摘要
量化小型自回归推理模型易陷入冗长、重复或无效的生成轨迹,而现有推理计算分配往往忽视轨迹发展过程。本文基于令牌级 e-CUSUM 控制器,提出 MGT-B(监控引导的测试时回溯)方法。该方法通过映射预采样不确定性与退化特征,利用 CUSUM 形重置积累混合投注因子,并在触发警报时估算回滚点、恢复状态并执行约束重解码。实验表明,该选择性监控修复机制在 MATH-500 数据集上显著提升了推理准确率,支持其在特定场景下的有效性。
AI 推荐理由
论文核心针对量化小模型推理中的退化轨迹,提出监控与重解码机制以提升推理准确率。
研究机构
Noveleis Research, Paris, France
论文信息