摘要
本文探讨了 Transformer 能否围绕不同归纳偏置家族组织情境级适应。通过“潜在算法路由”这一受控设置,研究发现模型能根据潜在数据生成机制动态调整求解器偏好,且该行为对干扰具有鲁棒性。作者提出 ROUTEBENCH 基准,涵盖收缩、稀疏性、鲁棒性和局部性等不同机制。实验表明,密集 Decoder-only Transformer 能有效发展出类路由的内部变量,实现高精度的策略切换,为理解 Transformer 的推理适应性提供了受控证据。
AI 推荐理由
论文核心研究 Transformer 在上下文学习中通过潜在算法路由实现不同推理策略的动态切换机制。
研究机构
Georgia Institute of Technology
论文信息