Pythia 多跳设置中跨模型激活转移的负面结果

近期研究表明语言模型可通过生成数据中的隐藏信号传递行为特征。本文探讨更直接的通道：在推理时，模型能否通过翻译并注入隐藏激活而非自然语言文本，向另一模型传达有用的中间推理状态？在 Pythia-160M 至 410M 的多跳推理控制实验中，线性翻译层学习了强映射关系，但注入激活并未提升下游回答性能。低强度加法注入效果接近基线，替换式注入则具有破坏性。结论表明，在此设定下，离线表示对齐不足以实现接收端内部有效的因果通信。