摘要
现有编码代理基准通常预先提供完整任务规范,而真实研发中规范是逐步披露的。本文引入 SLUMP 基准,评估在规范涌现情境下代理实现忠实度的损失。实验显示,相比单次规范控制,长程交互中结构整合能力显著下降。为此,作者提出 ProjectGuard,一种用于追踪规范的外部项目状态层。在 Claude Code 上,该机制恢复了 90% 的忠实度差距,大幅减少了严重失败,确立了规范追踪作为长程编码代理的关键评估目标。
AI 推荐理由
论文核心研究长程任务中的规范追踪与状态保持,提出外部项目状态层以增强记忆机制。
研究机构
普渡大学
论文信息