知止而后有定：大语言模型推理中动态弃权的原则性框架

大语言模型在使用思维链推理时，常因生成长且错误的响应而浪费大量计算资源。弃权机制可通过抑制低概率正确的输出来缓解此问题。现有方法多在生成前或后决定弃权，而动态中途弃权则考虑在每一 token 位置提前终止无希望的推理轨迹。本文提出了大语言模型动态弃权的正式分析，将弃权建模为正则化强化学习框架内的显式动作。研究表明，当值函数低于特定奖励参数时进行弃权，在一般条件下严格优于自然基线。数学推理与毒性避免任务的实证结果支持了该理论，并展示了优于现有方法的选择性准确率。