荒野中的算术：Llama 利用十进制加法推理循环概念

本文研究 Llama-3.1-8B 如何推理循环概念（如月份计算）。尽管模型对这类概念的表征具有循环结构，但研究发现其并未直接执行特定周期的模加法，而是复用通用的十进制加法机制：先计算输入之和，再映射回循环空间。研究进一步识别出一组稀疏的 MLP 神经元，利用与十进制周期一致的傅里叶特征完成求和。该工作通过因果抽象与特征几何的结合，深化了对语言模型机械理解的认识。