摘要
大型语言模型在复杂推理中常产生伴随“等等”、“嗯”等拟人化标记的显式反思轨迹。尽管这些标记被视为反思的指标,但其机制不明且可能导致过度思考。本研究通过提示级和令牌级干预抑制这些标记,在四个基准和两种模型规模上分析其对性能的影响。结果表明,拟人化标记并非推理性能所必需;抑制它们在某些设置下可保持甚至提升性能,且模型仍能执行无标记验证。这暗示此类标记仅是表面线索而非反思本身的可靠代理,激励未来探索超越显式标记模式的推理机制。
AI 推荐理由
论文核心研究 LLM 推理中拟人化标记的机制与必要性,直接关联推理过程。
研究机构
京都大学, Japan
论文信息