摘要
针对现有静态数据集评估大型视觉语言模型(LVLMs)社会偏见过于浅层的问题,本文提出 DeepBias 框架。该框架通过动态的“生成 - 进化 - 探测”循环,利用生成器代理合成测试数据并基于直接偏好优化迭代更新,同时由技能驱动的挖掘代理根据模型响应自适应重写测试用例,以逐步暴露深层偏见。此外,构建了 DeepBiasBench 基准,实验证明该框架能有效评估 LVLM 的安全漏洞,确立了进化的评估范式。
AI 推荐理由
论文提出自适应“生成 - 进化 - 探测”循环,核心在于测试数据的迭代进化与代理的自我更新机制。
研究机构
IEEE
论文信息