语言引导的视觉推理抽象

抽象与推理语料库（ARC）被视为通往通用人工智能的关键，但现有方法要么过度依赖大语言模型，要么难以捕捉高层语义。为此，本文提出 L-VARC 框架，通过语言引导的特权信息学习分支增强视觉推理。该框架设计了语义压缩模块以精炼语言描述，并利用交叉注意力投影器对齐视觉特征与语义嵌入以指导训练。值得注意的是，该引导分支仅在训练阶段使用，推理时丢弃，从而生成仅 1800 万参数的轻量级模型。实验表明，该方法有效利用语言先验提升了视觉推理性能，优于现有技术。