摘要
本文提出 ForeSci，一个时间受控的基准测试，旨在评估大语言模型智能体能否依据历史证据做出前瞻性的科研决策。该基准涵盖四个快速演进的 AI 领域及四类决策任务，通过严格的时间截断机制，确保仅利用截止前的知识库生成回答，而将后续论文用于验证。实验评估了原生大模型、混合检索增强生成及三种研究型智能体适配方案。结果表明，显式的证据组织虽提升了可追溯性与事实支撑，但效果高度依赖决策类型；诊断分析揭示了“证据 - 决策解耦”现象，即智能体常引用相关证据却预测错误的研究对象。ForeSci 将前瞻性科研判断转化为可控基准，为评估作为决策系统的研究智能体提供了新范式。
AI 推荐理由
论文核心评估 Agent 基于历史证据进行前瞻性科研判断的推理与决策能力。
研究机构
Southeast University, Nanjing, China
Beijing Zhongguancun Academy, Beijing, China
Duke Kunshan University, Kunshan, China
论文信息