Chain-of-Thought Unsupervised Scoring Neuron Activation Model Selection
摘要

大语言模型在推理时常采样多条思维链轨迹,导致瓶颈从生成转向选择。本文提出 NEX,一种无标签的白盒评分框架,将推理视为探索(E)与利用(X)的交替过程。通过检测稀疏激活缓存中每令牌新激活的 MLP 神经元尖峰来识别 E 阶段,并利用隐马尔可夫模型推断相位,根据神经元在后续 X 阶段的重用情况赋予权重。该方法无需任务答案即可对候选回答进行排名,在多个推理基准上有效预测了下游准确率并识别出更优模型变体。

AI 推荐理由

论文核心研究思维链(CoT)的选择与评分机制,直接提升推理能力。

研究机构
复旦大学 上海创新研究院
论文信息
作者 Kang Chen, Zhuoka Feng, Sihan Zhao, Kai Xiong, Junjie Nian et al.
发布日期 2026-02-05
arXiv ID 2602.05805
相关性评分 9/10 (高度相关)