摘要
在可验证奖励强化学习(RLVR)框架中,浮点结果通常基于容差进行评估,但这面临阈值校准困难、训练不稳定及精度有限等挑战,尤其在临床场景中。为此,我们提出了知识引导的混合奖励框架MedCalc-R1。具体而言,引入知识验证奖励机制,强制生成由外部验证器校验的计算公式,以增强可解释性和推理可靠性。此外,设计了结合临床安全阈值硬约束与精度敏感软约束的混合奖励方案,逐步引导模型在可接受范围内学习。实验表明,该方法在推理准确性和泛化能力上显著优于基线,验证了其在安全关键领域的有效性。
AI 推荐理由
论文核心解决医疗数学推理中的奖励机制问题,直接提升LLM的推理准确性与可靠性。
研究机构
哈尔滨工业大学
论文信息