摘要
本文提出 ArbiGraph,一种用于评估工具辅助语言代理在扩展推理工作流中保留、更新、组合及丢弃任务相关上下文能力的基准生成器。该框架将任务表示为带可执行 Python 求解器的自然语言问题,并通过类型化中间状态组合任务。其设计支持可控的任务图,可调节长度、依赖结构及干扰项数量,同时保持精确的自动验证。实验显示,代理在孤立任务上表现良好,但在复杂依赖任务中准确率显著下降,揭示了单任务评估无法发现的缺陷。
AI 推荐理由
论文核心评估 Agent 在长程任务中保留、更新和丢弃上下文的能力,直接针对记忆机制。
研究机构
University of Toronto
Vector Institute
论文信息