当“不鼓励自杀”都能算作AI公司的成绩,说明我们对技术成功的定义已经低到了什么程度。
发生了什么
MIT Tech Review 的一篇评论把矛头指向了当下AI安全讨论的焦点偏移。文章列举了几类被当作“成功”的政策成果:AI 公司承诺其聊天机器人不会鼓励用户自杀;社交平台让儿童更难买到芬太尼。文章承认这些保护很重要,也本该一直存在,但同时指出:企业完全可以跨过这些极低的门槛,然后继续照常运营那些会带来伤害的产品。
换句话说,公共讨论被“灾难性风险”占据——模型失控、生物武器、大规模失业——而那些每天都在发生、不构成头条的伤害,反而缺少同等分量的审视。
为什么重要
这不是新问题,但AI让它变得更紧迫。过去十几年,平台治理的经验已经反复证明:真正影响大量用户的,往往不是某一次爆炸性事故,而是推荐算法对注意力的持续消耗、默认设置对隐私的侵蚀、产品设计对弱势群体的结构性不友好。这些伤害分散、缓慢、难以归因,因此很难进入监管议程。
AI 产品把这一模式放大了。对话式界面让“陪伴”“建议”“情绪支持”成为默认功能,模型输出的语气和倾向会直接影响用户的判断;生成能力降低了内容造假的成本;自动化决策被嵌入招聘、信贷、教育等场景。这些都不是灾难片式的场景,却是真实发生的日常摩擦。
文章的核心判断是:以“避免最坏情况”为目标的治理框架,天然会漏掉“持续制造中等程度伤害”的行为。企业只要不越过那条红线,就可以宣称合规,而无需回答产品本身是否在系统性地消耗用户。
影响与看点
对行业而言,这意味着合规叙事需要升级。仅靠一份安全承诺或红队报告,不足以证明产品对用户是善意的;监管者和研究者可能会更关注产品设计层面的默认选项、激励机制和长期行为影响。
对开发者来说,值得留意的是“低门槛合规”的陷阱:把安全做成一份检查清单,容易让团队误以为风险已经被处理。真正需要回答的问题更朴素——这个功能在正常使用中,会不会让用户花更多时间、做更差的决定、获得更少的真实帮助。
对用户而言,这篇文章提醒我们,评价一个AI产品时,“它没有做坏事”和“它在做好事”是两回事。前者是底线,后者才是产品价值。
一个独立判断:AI安全讨论若继续被灾难叙事垄断,最终受益的会是那些最擅长设定低标准的企业——因为它们最清楚,红线之下还有大片无人审视的空间。



