协同进化 后训练优化 评估器反馈 自我改进
摘要

针对大语言模型后训练中,策略提升导致样本质量趋同、评估分差坍缩从而削弱监督信号的问题,本文从概率分配视角理论分析了分差对策略优化的关键作用。据此提出 DynamicRubric,一种评估器与策略协同进化框架,通过生成动态加权评分规则增强监督信号。实验表明,该方法在较小模型上优于超大规模基线,显著提升了推理与编码任务表现,并已在微信搜索 AI 回答场景中大规模部署应用。

AI 推荐理由

论文提出评估器与策略协同进化框架,核心解决自我改进中的监督信号坍缩问题。

研究机构
清华大学计算机科学与技术系 微信(WeChat) 腾讯(Tencent)
论文信息
作者 Beining Wang, Weihang Su, Hongtao Tian, Hao Kong, Tao Yang et al.
发布日期 2026-07-22
arXiv ID 2607.20083
相关性评分 9/10 (高度相关)