GRACE：用于高效后训练的梯度对齐推理数据筛选

现有推理数据筛选流程通常对整条样本打分，视所有中间步骤价值均等。然而，推理轨迹中各步骤贡献不均，需单独评估。本文提出 GRACE，一种梯度对齐的筛选方法，将推理轨迹视为优化事件序列，通过两个互补信号对每步打分：与答案导向梯度方向的对齐度，以及与前述推理轨迹的一致性。该方法仅利用模型内部优化信号，无需外部奖励模型或步骤标注。为实现可扩展性，GRACE 引入表示级梯度代理，单次前向传播即可从 token 级上游信号估计步级对齐度。实验表明，在 MMathCoT-1M 上后训练 Qwen3-VL-2B-Instruct，GRACE 仅用 20% 数据即达全量数据性能的 108.8%，5% 数据仍保留 100.2%，且子集在不同模型骨干间有效迁移。