摘要
针对大推理模型测试时计算分配问题，本文分析并利用模型自发重述问题的“提示回声”现象。作者形式化了其概率成本，提出“回声似然差距”作为理论链接，并开发了回声蒸馏监督微调与回声提示法以激发“先回声后推理”模式。通过注意力机制分析与多基准测试，证实该机制能通过中层注意力重聚焦显著提升数学推理准确率，优于现有基线方法。
AI 推荐理由
论文核心研究利用自发重复机制优化大模型推理过程中的注意力重聚焦与计算分配。
研究机构
哈尔滨工业大学深圳校区，中国
鹏城实验室，深圳，中国
惠州学院，中国
论文信息