摘要
后训练对 refining 大语言模型领域能力至关重要，但现有方法将策略探索与分布对齐紧耦合，导致计算昂贵且信号难以复用。本文提出代理引导更新信号转移（PUST）框架，解耦二者：利用轻量级代理模型作为试验场发现高奖励行为，提取其相对改进信号并转移至主模型以指导策略对齐。该流程显著降低开销，支持信号异步生成、缓存与复用，并天然支持弱到强的改进及跨模型迁移。实验表明，来自较弱代理的信号能稳健增强更强模型。
AI 推荐理由
论文提出模块化后训练范式，通过代理探索实现模型自我改进与跨模型能力迁移，核心聚焦进化机制。
研究机构
上海人工智能实验室
复旦大学
浙江大学
上海交通大学
论文信息