摘要
大语言模型正日益作为科学 AI 助手部署,现有基准多假设问题已明确定义,而实际场景常需通过对话澄清模糊请求。本文提出 SCICONVBENCH,涵盖流体力学等四个领域的多轮澄清基准,旨在评估模型获取缺失信息(消歧)及检测纠正矛盾请求的能力。该基准结合结构化本体与评分框架,从澄清行为、对话 grounding 及最终规范忠实度三维衡量性能。研究发现前沿模型在矛盾解决上表现尚可,但在消歧任务中成功率不足 53%,且常做出无依据的隐性假设。
AI 推荐理由
论文聚焦多轮对话中的澄清推理,评估模型消歧与矛盾解决能力,属推理核心应用。
研究机构
Rensselaer Polytechnic Institute
论文信息