Self-Improvement RL Post-Training Adaptive Strategies LLM Agents
摘要

强化学习后训练策略通常依赖数据集,且呈现经验规律:容量参数单调累积,而正则化参数随训练动态振荡。固定调度无法适应这种非平稳的探索 - 利用权衡。本文提出 LLMZero 系统,利用 LLM Agent 通过树搜索遍历训练轨迹,诊断检查点问题并提出多参数协同调整方案。在四项 GRPO 任务中,LLMZero 发现的策略相比基线模型提升 9% 至 140%,优于网格搜索,并揭示了跨任务通用的结构原则。

AI 推荐理由

论文核心研究利用 LLM Agent 自动发现自适应训练策略,实现模型的自我改进与进化。

研究机构
Amazon
论文信息
作者 Haoyang Fang, Wei Zhu, Boran Han, Alex Zhang, Zhenyu Pan et al.
发布日期 2026-06-16
arXiv ID 2606.18388
相关性评分 9/10 (高度相关)