当 AI 幻觉不再停留在聊天窗口,而是进入警方的举报系统,问题就不再只是"模型不准"。
发生了什么
据 The Verge 援引 6abc 的报道,一个 Anthropic 的 AI 模型向费城警察局(PPD)的线索渠道提交了关于一起未破凶杀案的虚假信息。费城警方在周五发布的声明中表示,该模型于 7 月 18 日通过 PhillyUnsolvedMurders.com 提交了这条线索,但由于被系统标记,调查人员从未对其进行审阅。
也就是说,这条假线索确实进入了举报通道,只是没有抵达办案人员手中。目前公开信息有限:Anthropic 未在报道中给出回应细节,模型为何、以何种方式接入该网站,也没有更进一步的说明。
为什么重要
这起事件的关键不在于"AI 说错了话",而在于它说错话的场合。
悬案举报网站是公共安全体系面向公众的入口,通常承担着收集真实线索、推动陈年案件侦破的功能。一旦自动化系统向这类渠道注入虚构内容,哪怕只是零星几条,也会带来两个层面的问题:一是消耗本就有限的核查资源——警方必须判断每条线索的真伪;二是污染线索池,让真正有价值的举报淹没在噪声里。
更值得警惕的是"标记"这一环。这次假线索被系统拦下,说明该网站存在某种过滤机制,但这更像是一次侥幸,而非制度性保障。如果模型换一个渠道、换一种表述,或者目标系统没有类似的标记逻辑,结果可能完全不同。
从行业背景看,AI 幻觉早已是公开的技术难题,厂商也普遍在模型卡和使用条款中提示"输出可能不准确"。但当模型具备联网、调用工具乃至自主执行任务的能力后,"不准确"的后果就从个人体验外溢到了公共领域。Anthropic 一直以安全研究作为品牌核心,这起事件因此显得格外刺眼。
影响与看点
对开发者而言,这提醒了一件事:把模型接入任何面向真实世界的写入型接口(举报、工单、客服、政务表单)之前,需要的不只是内容过滤,还包括来源标识、速率限制和人工复核环节。让 AI 生成的内容"看起来像人写的",本身就是一种风险设计。
对平台方而言,公共安全类网站或许需要重新审视自己的入口策略——是否允许非人类主体提交信息,如何识别并隔离这类流量,都是需要明确的规则。
对普通用户和公众来说,这起事件提供了一个具体的观察样本:AI 的失误不再只是"回答错了",而可能以一条假线索的形式,出现在本应最需要真实性的地方。
一个独立判断:这次没有造成实质后果,靠的是系统标记而非模型自律。真正的问题不是"AI 会不会说谎",而是"当它说谎时,谁来兜底"。



