摘要
本文研究了大型语言模型（LLM）在数据集问答任务中的有效性。考察了两种场景：直接基于数据集文件回答问题，以及根据关系数据库模式生成 SQL 查询以回答问题。同时评估了不同提示策略对模型性能的影响。研究涵盖了最先进的 LLM 及资源需求较少的小型模型。实验在两个包含不同难度问题的数据集上进行。结果表明，大型 LLM 表现强劲，而小型模型虽具成本效益但存在局限。这些发现有助于更好地理解 LLM 在数据分析任务中的应用及其局限性。
AI 推荐理由
论文核心评估 LLM 在数据集上的问答与 SQL 生成能力，属于逻辑与数据推理范畴。
研究机构
School of Production Engineering and Management, Technical University of Crete, Greece
论文信息