AGORA：一个基于档案基准的智能体职场文档推理评测

大语言模型正日益被部署为基于文档而非参数知识进行推理的智能体。本文研究了“基于档案的推理”：即在庞大且杂乱的职场文件集中定位稀疏证据、协调不一致的术语单位与时间惯例，并计算得出答案。现有基准仅涵盖该场景的部分方面，缺乏同时强调档案 grounding、智能体探索及跨领域覆盖的评测。为此，我们推出了 Agora 基准，包含 362 个问题、8 个领域的 9664 份真实文档（共 3.72 亿 token），远超任何模型的上下文窗口，迫使智能体必须进行 deliberate 探索而非穷举扫描。Agora 通过结合跨文档任务合成、防泄露混淆及难度过滤的智能体流水线构建。对八个模型的评估显示该任务远未解决：最强模型准确率仅为 59.4%，且不同领域间存在显著差异。