摘要
强化学习后训练策略通常依赖数据集,且呈现经验规律:容量参数单调累积,而正则化参数随训练动态振荡。固定调度无法适应这种非平稳的探索 - 利用权衡。本文提出 LLMZero 系统,利用 LLM Agent 通过树搜索遍历训练轨迹,诊断检查点问题并提出多参数协同调整方案。在四项 GRPO 任务中,LLMZero 发现的策略相比基线模型提升 9% 至 140%,优于网格搜索,并揭示了跨任务通用的结构原则。
AI 推荐理由
论文核心研究利用 LLM Agent 自动发现自适应训练策略,实现模型的自我改进与进化。
研究机构
Amazon
论文信息