摘要
本文研究了大语言模型(LLM)协助科研项目规划及提案评估的能力。研究针对八个由专家构思的物理、天体物理及宇宙学项目,分别由人类研究者与三种主流 LLM 独立生成单页项目计划。生成的 32 份提案由四位人类评审员及两种前沿 LLM 依据四维标准进行盲评。结果显示,人类评审员对人与 AI 撰写的提案评分相近,但 AI 评审员系统性地向 AI 生成提案倾斜。此外,AI 评审员能完美识别提案来源,而人类识别率约为 75%。结果表明当前 LLM 生成的项目计划已具备与人类相当的水平,但在广泛部署于提案制备与评估时需保持谨慎。
AI 推荐理由
论文核心研究 LLM 在科研项目规划与提案生成中的能力,直接对应规划主题。
研究机构
Venka Krishnaraj
Kouske Aizawa
Linda Blot
Suyog Garg
Jonathan Gré
Anamaria Heil
Ben Horowitz
Masaaya Ichikawa
Kanyumi Iemoto
Keigo Kondo
Zacharie Lorsin
Kevin McCarthy
Jamie Robinson
Miguel Ruiz-Granda
Leander Thiele
Jevgen Vovk
Mingshen Zhou
论文信息