面向编码 Agent 基础模型的技能感知中间填充式中间训练

编码 Agent 需将外部工具返回整合进持续推理中，而标准左向右预训练仅覆盖前向过程。本文指出 Agent 的“动作 - 观察 - 继续”循环在结构上同构于函数调用站点，并利用程序依赖图分析提出技能感知的中间填充（FIM）中间训练方法。该方法在去污染代码语料上对 Qwen 系列模型进行自监督训练，显著提升了 SWE-Bench 等基准表现。此外，该训练还缓解了 Agent 后训练导致的非 Agent 编码及通用工具使用能力退化问题，证明了函数调用归纳偏置的有效性。