具有自适应退出状态选择的循环状态空间语言模型

近期研究表明，许多推理问题受益于更大的计算深度而非独立参数增加。本文探究了循环 Mamba 及混合架构，通过重复应用共享模块引入显式有限深度递归计算。在模块化算术和归纳推理任务中，循环模型表现优于参数量匹配的非循环基线。预训练实验显示，循环模型以更少独特参数在下游基准保持竞争力。此外，文章适配了自适应退出门控机制，虽未减少实际推理耗时，但在中等深度下提升了下游性能，验证了深度对推理能力的增强作用。