摘要
拒绝采样微调(RFT)广泛用于训练代码智能体,但通常丢弃失败的轨迹,而这些样本最具信息量。本文提出FailForge框架,将失败轨迹转化为训练信号。智能体根据错误反馈诊断失败原因,提炼出简洁且可操作的技能,并在二次尝试中注入上下文进行引导。成功轨迹被纳入RFT语料库,且在训练时移除技能提示以促使模型内化行为。实验表明,该方法能以极低成本恢复26%的失败实例,在Qwen3.5-4B上使SWE-bench解决率提升6.6分,尤其在难题上效果显著。
AI 推荐理由
论文核心在于将失败经验蒸馏为可执行的“技能”并注入Agent,直接对应技能学习与工具使用机制。
研究机构
西安交通大学
京东-交大大模型联合实验室
京东未来学院
论文信息