摘要
幽默表情包结合了视觉和文本线索以传达讽刺、讽刺或社会评论,这对必须解释意图而非仅表面关联的AI系统提出了独特挑战。现有的多模态或提示方法生成幽默解释,但其运行在开环模式下,缺乏对预测后推理过程的批评或优化能力。本文提出FLoReNce,一种基于智能体反馈推理的框架,将表情包理解视为训练阶段的闭环过程和推理阶段的开环过程。在闭环中,推理智能体受到评判者的批评,错误和语义反馈被转化为控制信号并存储在一个由反馈信息驱动的非参数知识库中。在推理过程中,模型从该知识库中检索相似的评判经验,并利用它们来调整提示内容,从而实现无需微调的更优、自对齐的推理。在PrideMM数据集上,FLoReNce在预测性能和解释质量方面均优于静态多模态基线,表明反馈调节的提示方法是适应性理解幽默表情包的有效路径。
AI 推荐理由
论文提出基于反馈的闭环学习机制,涉及非参数知识库存储和检索,与Agent Memory相关。
论文信息