On-policy Distillation Counterfactual Reasoning Mathematical Reasoning Training Strategy
摘要

在线策略蒸馏(OPD)监督学生访问的轨迹,但基于散度的规则无法判断错误前缀是否仍可纠正。我们将此决策形式化为“反事实可恢复性”,并通过预算匹配的教师继续和回滚分支重放每个错误状态。根据相对成功率,将状态分类为可恢复、不可逆但可避免或模糊,并据此指导轨迹的训练保留、回滚或常规监督。实验表明,该机制显著提升了AIME等基准上的推理性能,优于传统散度方法。

AI 推荐理由

论文通过反事实可恢复性优化LLM在复杂推理任务(如AIME数学题)中的训练策略,直接提升逻辑与数学推理能力。

研究机构
清华大学
论文信息
作者 De Jiang, Zhengyang Zhang, Kehong Yuan, Shaohua Ma
发布日期 2026-08-05
arXiv ID 2608.04408
相关性评分 9/10 (高度相关)