CircuitProbe：通过稳定性区域检测预测 Transformer 中的推理电路

Transformer 语言模型包含局部推理电路，复制这些连续层块可提升推理性能。针对现有暴力搜索方法耗时过长的问题，本文提出 CircuitProbe，利用激活统计信息在 CPU 上数分钟内预测电路位置，速度提升三到四个数量级。研究发现推理电路分为两类：早期层的稳定性电路和晚期层的幅值电路。实验验证了该方法在多种架构及多语言环境下的有效性与稳定性，并揭示了层复制技术对小参数模型的扩展价值。