摘要
针对数学辅导通常需基于强化学习及多 GPU 基础设施对齐 LLM 的现状,本文探究了仅通过 API 调用进化系统提示的无训练提示优化是否可作为实用替代方案。研究适配了 7 种现有方法并提出 5 种教育专用方法,在两个分布外基准测试中评估发现,所有最佳配置均超越最强的 RL 训练基线。其中 ParetoGrad 在后测解决率、防泄露和 helpfulness 之间实现了最佳平衡。行为分析表明,无训练方法更依赖教学知识模式,虽意图级支架略有减少,但能以极低算力高效开发 pedagogically 对齐的 LLM 导师。
AI 推荐理由
论文核心在于通过无训练提示优化实现系统提示的自我进化,以替代昂贵的 RL 训练。
研究机构
韩国首尔大学世宗校区
韩国教育研究院
印第安纳大学布卢明顿分校
韩国首尔大学
论文信息