Mathematical Reasoning Benchmark Information Requesting LLM Evaluation
摘要

本文提出 MIRA-Math 基准,旨在诊断数学推理中“最小化信息请求”的特定能力。该基准包含 2310 个实例,覆盖 22 类数学问题,每个问题故意缺失一个关键原子事实。求解者需在严格预算下用自然语言请求缺失信息,并将返回事实整合以得出精确答案。实验表明,请求成功与最终计算准确性是可分离的:模型可能获取了正确信息却在后续计算中失败,或在获取提示前就已出错。该研究为评估数学推理中的信息交互提供了可复现的标准。

AI 推荐理由

论文核心聚焦数学推理能力,提出新基准评估在信息缺失下的推理与提问整合能力。

研究机构
Department of Electrical and Computer Engineering, Lebanese American University, Byblos, Lebanon
论文信息
作者 Charbel Al Bateh, Samer Saab
发布日期 2026-07-08
arXiv ID 2607.07391
相关性评分 9/10 (高度相关)