摘要
本文针对当前大语言模型训练流程中日益增多的阶段如何更高效扩展的问题，提出内省式训练（IXT）。该方法受离线奖励条件强化学习启发，利用思维奖励模型生成自然语言批判反馈来标注数据，使训练从最早期即可感知质量。通过将反馈作为前缀条件进行训练，确保 token 差异化处理。实验表明，IXT 能显著弯曲扩展曲线，提升计算效率达 2.8 倍，并在数学和代码领域达到传统训练无法企及的性能水平。
AI 推荐理由
论文提出利用后期反馈优化早期训练，实现模型自我改进与效率提升，核心契合自我进化主题。
研究机构
NVIDIA
University of Washington
Carnegie Mellon University
UC San Diego
论文信息