“我不知道”过滤器：增强智能体在函数调用中的可靠性

支撑智能体的语言模型在函数调用基准测试中性能迅速提升，但现有评估指标常诱导模型在不确定时仍做出肯定断言，导致幻觉。在高风险应用中，此类幻觉可能引发灾难性后果。为此，本文提出一种考量错误函数调用负面后果的智能体评估指标，并设计了一种轻量级可训练过滤器，用于量化模型不确定性并拦截潜在有害的函数调用。该过滤器无需修改底层模型即可检测并抑制不确定的调用，为构建具备“知不知”能力、符合生产级可靠性要求的智能体提供了实用路径。