NEAT：基于神经元的大型推理模型早期退出机制

大型推理模型常受困于“过度思考”，即在得出正确解后仍生成冗余推理步骤。现有早期退出方法多依赖输出级启发式或训练探测模型，需额外计算或标注数据。本文提出 NEAT，一种基于神经元的早期推理退出框架，通过监控神经元激活动态实现无需训练的早期退出，且不增加测试时计算开销。NEAT 识别与退出相关的神经元并追踪其激活模式，动态触发退出或抑制反思，在保持解答质量的同时减少不必要推理。实验表明，该方法在多个基准上平均减少 22%-28% 的 token 生成量且精度不变。