过度思考：放大推理权重以提取习得的秘密

黑盒审计是语言模型部署前的关键工具，但可能遗漏细微的对齐问题或隐藏信息。为此，本文提出“过度思考”方法，利用推理任务向量放大推理模型的“自言自语”倾向。通过结合非推理指令模型与推理蒸馏模型的参数，并引入层间衰减策略，该方法能在保持输出质量的同时选择性增强推理能力。实验表明，在多种设置下，过度思考模型揭示隐藏信息的频率比原推理模型高出十倍，有效 surfaced 训练中获得的各种秘密或非预期行为。