摘要
大语言模型在推理时常采样多条思维链轨迹,导致瓶颈从生成转向选择。本文提出 NEX,一种无标签的白盒评分框架,将推理视为探索(E)与利用(X)的交替过程。通过检测稀疏激活缓存中每令牌新激活的 MLP 神经元尖峰来识别 E 阶段,并利用隐马尔可夫模型推断相位,根据神经元在后续 X 阶段的重用情况赋予权重。该方法无需任务答案即可对候选回答进行排名,在多个推理基准上有效预测了下游准确率并识别出更优模型变体。
AI 推荐理由
论文核心研究思维链(CoT)的选择与评分机制,直接提升推理能力。
研究机构
复旦大学
上海创新研究院
论文信息