摘要
大语言模型代理正日益应用于运筹学建模,但现有基准常将评估简化为从问题陈述到数学公式的单次翻译,忽略了真实工业流程中持久化多artifact工作空间和多阶段任务生命周期的特征。本文提出OR-Space,一个全生命周期工作空间基准,用于评估代理在模型构建、修订及基于证据的解释方面的能力。每个实例均为包含业务文档、结构化数据及代码的可执行工作空间。该基准定义了构建、修订和解释三种任务模式,旨在评估代理在端到端文本生成之外执行可靠优化工作的能力,并研究其在工业流程中的可靠性与失效模式。
AI 推荐理由
论文聚焦工业优化代理的全生命周期任务规划与多阶段执行,核心评估其规划能力。
研究机构
Shanghai Jiao Tong University
Shanghai University of Finance and Economics
Stanford University
论文信息