摘要
针对大语言模型后训练中,策略提升导致样本质量趋同、评估分差坍缩从而削弱监督信号的问题,本文从概率分配视角理论分析了分差对策略优化的关键作用。据此提出 DynamicRubric,一种评估器与策略协同进化框架,通过生成动态加权评分规则增强监督信号。实验表明,该方法在较小模型上优于超大规模基线,显著提升了推理与编码任务表现,并已在微信搜索 AI 回答场景中大规模部署应用。
AI 推荐理由
论文提出评估器与策略协同进化框架,核心解决自我改进中的监督信号坍缩问题。
研究机构
清华大学计算机科学与技术系
微信(WeChat)
腾讯(Tencent)
论文信息