使用Mamba-2注意力混合的小型递归推理

近期关于递归推理模型（如TRM）的研究表明，小型网络（7M参数）可以通过潜在递归在隐藏表示空间中进行迭代优化，在抽象推理任务上表现出色。这引发了一个自然问题：Mamba-2的状态空间递归本身是一种迭代优化形式，是否适合用于递归推理？本文通过将TRM中的Transformer模块替换为Mamba-2混合操作符（保持参数数量相近），验证其对推理能力的影响。实验结果表明，在ARC-AGI-1数据集上，混合模型在pass@2指标上提升了2.0%，且在更高K值下表现更优，同时保持了pass@1的稳定性。这表明混合模型提高了候选解覆盖度，生成正确解的能力更强。研究验证了Mamba-2混合操作符在递归框架中保留推理能力，为基于状态空间模型的操作符设计提供了新思路。