推理存于层间：利用层级选择性合并恢复视频 - 语言模型的时间推理能力

多模态适配虽赋予大语言模型感知能力，却常削弱其原有的推理能力，这在视频 - 语言模型中尤为显著，视觉对齐可能损害对序列事件的时间推理。本文提出 MERIT，一种无需训练、任务驱动的模型合并框架，旨在恢复时间推理能力。该方法在视频模型与文本骨干网络的自注意力层间搜索最优合并策略，在提升推理的同时抑制感知退化。实验表明，MERIT 在多个基准上显著改善时间推理并保持感知能力，且优于均匀合并与随机选择，证实特定层级对推理至关重要。