摘要
针对面向优化的大语言模型在有限训练资源下难以实现强泛化的问题,本文提出 MiniOpt 框架。该方法采用“推理即建模与求解”范式,将优化推理分解为结构化建模与可执行求解器生成。通过引入具有分层评分结构的 OptReward 奖励函数及面向优化的策略优化算法,MiniOpt 无需专家演示即可有效学习。实验表明,MiniOpt-3B 在多种优化场景中展现出卓越的泛化性能,尤其在参数量小于 10B 的模型中取得了最高的平均求解准确率,证明了基于强化学习的奖励设计是开发紧凑型专用优化模型的有效途径。
AI 推荐理由
论文核心提出“推理到建模与求解”范式,通过强化学习提升 LLM 在优化问题上的逻辑推理与泛化能力。
研究机构
中国科学院自动化研究所
论文信息