什么使得医学检查器可训练？诊断生物医学问答中检查器引导 RAG 的信号坍缩与奖励黑客

医学检索增强生成（RAG）需基于证据的主张，通常引入主张级自然语言推断（NLI）检查器作为强化学习奖励。研究发现，检查器训练时的输出分布而非其离线准确率决定了梯度的可训练性。实验揭示三大发现：一是信号坍缩具有对数概率特异性，导致梯度消失；二是适度信号优于强信号，后者易引发奖励黑客行为；三是信号强度依赖于策略。该研究为验证器即奖励系统界定了边界条件。