当AI幻觉从聊天窗口走进法庭文书,代价不再是尴尬,而是罚款和藐视法庭裁定。
发生了什么
据路透社报道,新墨西哥州最高法院对律师Stephen Aarons作出处罚:罚款5000美元,并裁定其藐视法庭。原因是他为客户的一起谋杀案定罪上诉提交了包含AI虚构内容的材料——其中包括不存在的证人和伪造的警方证词。法院指出,他未能核实这些事实主张和法律依据。
这不是AI第一次在司法文件中"编造"内容。此前已有多起律师引用ChatGPT生成的虚假判例被法官发现的案例,但多数以警告或要求补充说明收场。此次直接处以罚款并认定藐视法庭,在惩戒力度上明显升级。
为什么重要
AI幻觉的本质是模型在缺乏可靠依据时,仍以高度自信的语气生成看似合理的内容。判例名称、证人证言、警方记录这类文本,恰好是语言模型最容易"补全"的格式——它们有固定的行文结构,模型可以流畅地仿写,却无法保证其真实存在。
问题在于,法律文书对事实准确性的要求是零容忍的。律师提交的每一份证据、每一条引述,都对应着可核查的现实来源。当AI生成的内容被直接嵌入上诉材料,它不再是"辅助工具的输出",而是律师以职业身份背书的事实主张。法院的处罚逻辑正基于此:核实责任在提交者,不在工具。
这起案件也暴露了一个结构性矛盾。AI工具在检索、摘要、草拟方面的效率优势,正被越来越多的法律从业者采用;但司法系统对"可追溯来源"的要求,与生成式模型"概率性输出"的机制之间存在根本张力。效率提升与责任归属,尚未找到平衡点。
影响与看点
对法律行业而言,这起判例释放了明确信号:使用AI不违规,但未经核实就提交AI生成内容,可能构成职业失当。可以预见,律所内部会加速建立AI使用规范,要求对AI辅助产出的内容进行来源标注和人工复核。
对更广泛的AI使用者来说,这起案件的警示意义超出法律领域。任何涉及事实性主张的场景——新闻报道、学术写作、商业报告——都面临同样的核实义务。模型不会为幻觉负责,使用它的人会。
一个值得关注的趋势是:随着AI生成内容越来越难以与真实内容区分,"核实成本"正在成为新的隐性门槛。工具降低了生产内容的成本,却把验证成本转移给了使用者。这种成本转移是否可持续,取决于行业能否建立起配套的核查流程和问责机制。
目前来看,司法系统选择了用惩戒来划定边界。这未必是最优解,但至少说明:在事实问题上,AI的流畅度不能替代真实性。



