Context Management Benchmark Agent Evaluation Long-context Reasoning
摘要

本文提出 ArbiGraph,一种用于评估工具辅助语言代理在扩展推理工作流中保留、更新、组合及丢弃任务相关上下文能力的基准生成器。该框架将任务表示为带可执行 Python 求解器的自然语言问题,并通过类型化中间状态组合任务。其设计支持可控的任务图,可调节长度、依赖结构及干扰项数量,同时保持精确的自动验证。实验显示,代理在孤立任务上表现良好,但在复杂依赖任务中准确率显著下降,揭示了单任务评估无法发现的缺陷。

AI 推荐理由

论文核心评估 Agent 在长程任务中保留、更新和丢弃上下文的能力,直接针对记忆机制。

研究机构
University of Toronto Vector Institute
论文信息
作者 Pavel Golikov, Evgenii Opryshko, Gennady Pekhimenko, Mark C. Jeffrey
发布日期 2026-07-22
arXiv ID 2607.20764
相关性评分 9/10 (高度相关)