摘要
终端代理需自主执行复杂长程任务,关键在于解读环境指令并判定其相关性。现有基准无法评估此能力,易导致代理盲目跟随或完全忽略指令。本文提出任务对齐基准(TAB),包含 89 个故意信息缺失的任务,要求代理从自然环境工件中提取必要线索并忽略干扰项。实验显示,前沿代理虽具高任务完成率但任务对齐度低;且抑制干扰的防御机制往往同时阻断了必要线索。结果表明,实现任务对齐需选择性利用环境指令,而非全盘接受或拒绝。
AI 推荐理由
论文核心在于 Agent 对环境信息的甄别与逻辑判断,需区分相关线索与干扰项,属高级推理范畴。
研究机构
CISPA Helmholtz Center for Information Security
论文信息