当AI图像生成能力越来越强,围绕它的安全护栏却似乎并未同步升级。

发生了什么

据Ars Technica报道,研究人员发现了一种攻击方法,能够相对容易地绕过OpenAI和Google在图像生成模型上部署的安全防护,诱导模型产出裸露或色情化的人像内容。报道将这一手法描述为一种“攻击方法”,其核心在于暴露了两家公司在防止AI生成不雅图像方面的防护措施存在可被系统性利用的漏洞。

需要说明的是,报道摘要并未披露攻击的具体技术细节、涉及的模型版本、测试样本规模,也未给出两家公司的官方回应。因此,目前能确认的事实是:防护机制被绕过,且研究者认为这并非孤例式的偶然失误,而是指向更深层的设计问题。

为什么重要

AI生成不雅图像一直是生成式模型最敏感、也最难根治的滥用场景之一。过去两年,行业主要依赖两条路径来防范:一是训练阶段的对齐与拒绝采样,让模型“学会”拒绝相关请求;二是推理阶段的输入输出过滤,拦截敏感提示词和生成结果。

但这次事件再次说明,这两条路径都存在结构性弱点。对齐依赖模型对意图的判断,而攻击者可以通过改写措辞、拆分语义、借助图像编辑或多轮对话来模糊意图;输出过滤则面临误杀与漏杀的两难——过滤太严会伤害正常创作,太松则形同虚设。更关键的是,图像模型的能力越强,绕过防护后造成的危害就越大,而防护本身却往往是在模型发布后才被动补强的。

对OpenAI和Google而言,这不仅是技术问题,也是监管与声誉问题。全球多个司法辖区正在收紧对AI生成色情内容的约束,平台若被证明防护可被轻易绕过,将面临更大的合规压力。

影响与看点

对开发者来说,这意味着不能把模型厂商的安全承诺当作最终保障。任何面向用户开放的图像生成功能,都需要在应用层建立自己的审核与风控,尤其是涉及人像上传、图像编辑的场景。

对用户和平台而言,值得关注的是攻击成本的下降趋势。如果绕过防护的方法被公开并简化,滥用门槛会进一步降低,受害者可能包括被恶意合成图像的普通人。

值得观察的几个方向:OpenAI和Google是否会就此发布修复或说明;研究者是否公开完整方法论以推动防御研究;以及行业是否会从“单点过滤”转向更系统的红队测试与对抗训练流程。

一个独立判断是:只要生成能力与审核能力由同一套模型承担,攻防就会持续不对称。真正的解法可能不在模型内部,而在产品设计、水印溯源与法律追责的组合拳上。