Project Planning Proposal Evaluation LLM Assessment Scientific Research
摘要

本文研究了大语言模型(LLM)协助科研项目规划及提案评估的能力。研究针对八个由专家构思的物理、天体物理及宇宙学项目,分别由人类研究者与三种主流 LLM 独立生成单页项目计划。生成的 32 份提案由四位人类评审员及两种前沿 LLM 依据四维标准进行盲评。结果显示,人类评审员对人与 AI 撰写的提案评分相近,但 AI 评审员系统性地向 AI 生成提案倾斜。此外,AI 评审员能完美识别提案来源,而人类识别率约为 75%。结果表明当前 LLM 生成的项目计划已具备与人类相当的水平,但在广泛部署于提案制备与评估时需保持谨慎。

AI 推荐理由

论文核心研究 LLM 在科研项目规划与提案生成中的能力,直接对应规划主题。

研究机构
Venka Krishnaraj Kouske Aizawa Linda Blot Suyog Garg Jonathan Gré Anamaria Heil Ben Horowitz Masaaya Ichikawa Kanyumi Iemoto Keigo Kondo Zacharie Lorsin Kevin McCarthy Jamie Robinson Miguel Ruiz-Granda Leander Thiele Jevgen Vovk Mingshen Zhou
论文信息
作者 Jia Liu, Veena Krishnaraj, Kateryna Vovk, Kosuke Aizawa, Adrian E. Bayer et al.
发布日期 2026-07-28
arXiv ID 2607.25881
相关性评分 9/10 (高度相关)