摘要
针对基于大语言模型的机器学习工程智能体过度依赖无梯度树搜索的问题,本文提出 Gome 智能体,开创性地 operationalize 了基于梯度的优化范式。该方法将结构化诊断推理映射为梯度计算,成功记忆映射为动量,多轨迹执行映射为分布式优化。实验表明,随着模型推理能力的增强,基于梯度的优化逐渐优于树搜索,并在前沿模型上显著领先,确立了其作为未来主流范式的地位。
AI 推荐理由
论文核心在于将结构化诊断推理映射为梯度计算,利用推理能力替代树搜索,是推理机制的创新应用。
研究机构
Microsoft Research Asia
南京大学
北京大学
浙江大学
论文信息