摘要
偏好优化可提升大语言模型的数学推理能力,但通常依赖人工标注或外部奖励模型构建正负样本对。本文提出Cloud-ScPO框架,利用模型内部表示的几何结构在半监督设置下挖掘偏好信号。研究发现不同数学问题的推理轨迹在隐藏空间中形成结构化点云,正确与错误轨迹具有不同的几何组织特征。该方法结合少量标注数据构建参考点云,通过软k近邻评分筛选高质量轨迹,并与提示级自洽性结合确定偏好方向。实验表明,该方法在GSM8K和MATH-Numeric数据集上显著优于基线,有效提升了推理可靠性。
AI 推荐理由
论文直接针对LLM数学推理能力,通过优化偏好数据提升推理准确性,属于核心研究。
研究机构
University of Southern California
Arizona State University
论文信息