旧金山市政府近日向苹果和谷歌发出正式信函,要求两家公司从其应用商店中下架所有能够生成裸体图像的“脱衣”App(nudify apps)。这些App利用AI技术将普通照片中的衣物移除,生成逼真的裸体图像,极易被用于制作非自愿的色情内容。

发生了什么

旧金山地方检察官办公室在调查中发现,苹果App Store和Google Play商店中存在多款此类App,它们通常以“照片编辑”或“健康”类别伪装,但核心功能是生成裸体图像。官方估计,这些App通过应用内购买或订阅模式,已经为苹果和谷歌带来了数百万美元的佣金收入。信函要求两家公司在14天内回应,并采取行动移除所有相关App。

为什么重要

“脱衣”App并非新现象,但AI技术的进步使得生成图像更加逼真且易于操作,导致此类App在应用商店中泛滥。此前,微软、谷歌等公司已在其自有平台上禁止此类功能,但第三方开发者仍能通过应用商店分发。旧金山的此次行动将矛头指向了平台本身,认为苹果和谷歌作为分发渠道,有责任审核并移除可能造成严重伤害的App。

从法律角度看,美国多个州已出台法律禁止深度伪造色情内容,但监管往往滞后于技术。旧金山此举可能成为其他城市或州效仿的范例,推动更严格的平台责任标准。此外,这也凸显了AI伦理中的一个核心矛盾:技术本身是中性的,但应用场景和分发机制决定了其社会影响。

影响与看点

对苹果和谷歌而言,此次事件再次敲响了应用审核机制的警钟。尽管两家公司都有App审核流程,但“脱衣”App的持续存在表明,自动化审核和人工审查均存在漏洞。未来,平台可能被迫投入更多资源进行AI内容审核,甚至提前审查开发者的技术意图。

对开发者来说,此类App的商业模式将面临更大风险。即使技术本身不违法,一旦被认定为“有害”,平台可能随时下架且不提供申诉机会。这促使开发者更谨慎地评估产品的伦理边界。

对用户而言,短期看,此类App的下架能减少非自愿色情内容的生成工具。但长期看,只要开源模型和本地部署存在,技术仍可能被滥用。真正的解决方案或许在于法律威慑和数字素养教育,而非单纯依赖平台封禁。

值得关注的是,旧金山信函中提到的“数百万美元”佣金,揭示了平台在有害内容上的经济利益。这一角度可能成为未来监管的突破口:当平台从有害App中获利时,其责任是否应大于单纯的“管道”?这将是AI时代平台治理的核心议题之一。