机制引导的选择性遗忘用于 RLVR 诱导的推理

本文提出 MAST（机制对齐选择性定位），一种机制引导的方法，旨在以远低于标准全参数更新的附带损害，遗忘由 RLVR 诱导的推理能力。研究发现，SFT 到 RLVR 的增量在 token 级 delta-log-probability 上与 SFT 更新显著不同，而全参数梯度上升在遗忘目标时会损害保留的 MATH 和 GSM8K 能力。MAST 根据非主能量、更新幅度和遗忘梯度耦合幅度对注意力投影张量进行排序，仅更新排名靠前的子集。实验表明，MAST 在实现统计显著的目标遗忘的同时，有效保留了其他推理能力。