摘要
评估人工智能支持学习系统中的程序性推理,需要既符合学习者特征又基于教学知识的问答数据集。本研究探讨了基于任务 - 方法 - 知识(TMK)模型的提问生成策略如何影响程序性及多跳推理数据集的质量。通过对比三种生成策略并引入基于封闭集证据单元的 grounding 验证框架,研究发现严格遵循 TMK 的生成方式在 grounding 和可用性上表现最佳。结果表明,程序丰富性与自然表达并不能保证表征 grounding,强调了在评估数据集中进行显式表征感知验证的重要性。
AI 推荐理由
论文核心研究程序性推理与多跳推理的评估数据集构建,直接针对推理能力。
研究机构
Georgia Institute of Technology, Atlanta GA, USA
论文信息