Task Alignment Agent Evaluation Instruction Following Terminal Agents
摘要

终端代理需自主执行复杂长程任务,关键在于解读环境指令并判定其相关性。现有基准无法评估此能力,易导致代理盲目跟随或完全忽略指令。本文提出任务对齐基准(TAB),包含 89 个故意信息缺失的任务,要求代理从自然环境工件中提取必要线索并忽略干扰项。实验显示,前沿代理虽具高任务完成率但任务对齐度低;且抑制干扰的防御机制往往同时阻断了必要线索。结果表明,实现任务对齐需选择性利用环境指令,而非全盘接受或拒绝。

AI 推荐理由

论文核心在于 Agent 对环境信息的甄别与逻辑判断,需区分相关线索与干扰项,属高级推理范畴。

研究机构
CISPA Helmholtz Center for Information Security
论文信息
作者 Sina Mavali, David Pape, Jonathan Evertz, Samira Abedini, Devansh Srivastav et al.
发布日期 2026-05-12
arXiv ID 2605.12233
相关性评分 8/10 (高度相关)