利用数字孪生表示上的强化学习训练大语言模型以应对高推理强度的手术视频问答

手术视频问答需要在语义、空间和时间维度上进行多步推理。现有方法将视频压缩为离散标记并耦合感知与推理，限制了多步推理能力。本文提出一种强化学习框架，利用手术基础模型构建的数字孪生表示，训练大语言模型将感知与推理解耦。此外，引入了涵盖帧、时间窗口及手术层级的分层表示及概率不确定性估计，并提出结合格式验证、临床合理性评估及不确定性校准的新型奖励机制。在 REAL-Colon-Reason 等基准测试中取得了最先进性能。