一种无冲突的热层扩展方法用于Engram风格条件记忆：训练动态的对照研究

本文探讨高频键碰撞是否是Engram风格条件记忆的主要瓶颈。为隔离碰撞的影响，我们引入了Engram-Nine，一种无冲突的热层扩展方法，通过最小完美哈希函数（MPHF）映射最频繁的n-gram，同时保留原始多头哈希查找作为冷层。在严格等参数设置下，无冲突设计并未一致改善验证损失。通过路由分层评估（将每个token的损失分解为热/冷贡献），我们发现训练过程中存在一致的“热到冷优势翻转”现象：热（高频）位置初始损失较低，但冷位置最终超越。关键发现是，无冲突配置比易碰撞基线更早发生翻转，表明碰撞可能起到隐式正则化作用。此外，我们还识别出门控不匹配问题：门控机制在训练初期倾向于热位置，但即使在翻转后仍持续偏好热位置，导致高损失位置被赋予更高权重。我们的研究结果表明，仅提高查找精度并不能保证更好的训练效果，主要限制可能在于门控信用分配而非索引准确性，碰撞引起的噪声可能提供有益的正则化作用，不应盲目消除。