procedural reasoning dataset construction AI in education multi-hop reasoning evaluation framework
摘要

评估人工智能支持学习系统中的程序性推理,需要既符合学习者特征又基于教学知识的问答数据集。本研究探讨了基于任务 - 方法 - 知识(TMK)模型的提问生成策略如何影响程序性及多跳推理数据集的质量。通过对比三种生成策略并引入基于封闭集证据单元的 grounding 验证框架,研究发现严格遵循 TMK 的生成方式在 grounding 和可用性上表现最佳。结果表明,程序丰富性与自然表达并不能保证表征 grounding,强调了在评估数据集中进行显式表征感知验证的重要性。

AI 推荐理由

论文核心研究程序性推理与多跳推理的评估数据集构建,直接针对推理能力。

研究机构
Georgia Institute of Technology, Atlanta GA, USA
论文信息
作者 Sarah Elshabrawy, Rahul K. Dass, Ashok K. Goel
发布日期 2026-06-11
arXiv ID 2606.12767
相关性评分 9/10 (高度相关)