Nautile-370M：小型推理模型中谱记忆与注意力的融合

本文提出 Nautile-370M，一款专为严格参数和推理预算下高效推理设计的 3.71 亿参数小型语言模型。该模型采用混合骨干网络，交替使用两层序列条件注意力（SCA）层与一层 Transformer 层。SCA 是一种受 SeqCondenser 启发的线性时间谱序列算子，旨在保留结构化序列模型的长上下文效率与状态追踪优势，同时维持注意力机制的令牌间路由表达能力。理论证明 SCA 读取机制能精确检索前缀摘要中的任意令牌，并在连续极限下至少具备与全自注意力同等的表达力。此外，文章还描述了训练数据流水线及针对推理、验证和响应质量的强化学习阶段。