math reasoning pass@k activation grafting difficulty estimation LLM diagnostics
摘要

数学与科学推理基准依赖 pass@k 作为难度信号,但该指标在 hardest stratum 存在持续盲区。研究表明,在六种采样尝试均失败的样本中,约 10.3%-22.9% 可通过确定性机制(贪婪解码加激活嫁接扰动)解决。这种恢复能力随计算预算增加而扩展,且不同扰动机制具有显著差异性。研究利用激活嫁接作为内部表征的诊断工具,证明 pass@k=0% 的样本在残差流中具有结构可识别性,而非模型在常规推理下无法触及。

AI 推荐理由

论文核心研究数学推理中的难度评估盲区及内部表征干预,直接针对推理能力。

研究机构
Sapienza University of Rome
论文信息
作者 Luca Zhou, Sajel Shah, Emanuele Rodolà, Roberto Dessì
发布日期 2026-06-17
arXiv ID 2606.19636
相关性评分 9/10 (高度相关)