摘要
图像思维推理已成为大型视觉语言模型的新推断范式,但其安全性尚不明确。本文评估了多种处理设计(如直接生成、纯文本前置、视觉状态操控及显式外部图像工具调用)对多模态越狱鲁棒性的影响。实验发现,显式图像工具交互能显著降低攻击成功率(平均相对减少约 30%)。研究提出“图像工具安全向量”框架,将该交互建模为隐藏表示向安全方向的残差偏移,并通过表征分析与激活干预验证了这一机制,表明该设计是提升越狱鲁棒性的有效途径。
AI 推荐理由
论文聚焦“图像思维”推理范式对安全性的影响,核心在于推理过程与机制分析。
研究机构
Independent Researcher
Stanford University
Harvard University
论文信息