Benchmark Reasoning Enterprise QA Graph-based Evaluation
摘要

企业问答通常涉及检索内部文档并生成基于证据的答案。然而,常规企业记录往往是工作副产品,其中所需的组织关系在异构来源中保持隐式状态。现有基准测试虽提供多源证据,但往往预设答案路径,仅测试既定事实的组合,而非恢复语料库中缺失的目标关系。我们将后者称为“潜在组织推理”。本文引入ENTLORE,一个基于图的基准构建框架,通过重构审计后的企业世界,利用版本化的组织惯例对派生关系进行认证,从而提供完整的黄金答案和证明证书。实验表明,尽管结构化知识表现最佳,但在处理潜在推理问题时仍有显著未解比例,凸显了隐性关系可用性的重要性。

AI 推荐理由

论文核心聚焦于“潜在组织推理”能力,评估模型从隐含信息中推导关系的能力,属于逻辑与常识推理范畴。

研究机构
ScitiX.ai
论文信息
作者 Akrin Zheng, Alexander Wu, Alaia Liu
发布日期 2026-08-11
arXiv ID 2608.10679
相关性评分 9/10 (高度相关)