一位辩护律师因为把ChatGPT编造的证言写进法庭文件而受到处罚——他事后说，自己并不知道AI会“幻觉”。
发生了什么
据Ars Technica报道，美国新墨西哥州一名辩护律师在提交给法庭的材料中引用了由ChatGPT生成的“证人证言”，而这些证人并不存在，证言也从未发生。相关引用被识破后，该律师受到处罚。他给出的解释是：自己此前不知道AI会编造事实。
这不是孤例。过去两年里，美国已出现多起律师因提交含AI虚构判例、虚构引注的文书而被法官训诫、罚款甚至制裁的案例。区别在于，早期案例多集中在“编造判例法条”，而这次涉及的是事实层面的证据材料——虚构证人及其证词，性质更接近伪造证据的边缘。
为什么重要
大模型的“幻觉”并不是bug，而是其工作方式的副产品：它按概率生成看起来最合理的文本，而不是在数据库中检索真相。对普通用户来说，这表现为偶尔说错话；对法律、医疗、金融等强合规场景来说，这等于在专业文书里埋入不可验证的虚假事实。
更值得警惕的是责任归属。法院的立场正在变得清晰：无论工具多新，署名提交文件的人对内容负责。律师不能以“AI说的”作为免责理由，就像不能以“助理写错了”来推卸责任一样。这意味着AI在专业服务中的采用，必须配套人工核验流程，而不是替代核验。
这起事件也暴露了一个认知落差：技术圈早已把“幻觉”当作常识，但大量专业从业者对生成式AI的能力边界仍缺乏基本了解。工具被快速嵌入日常工作流，而相应的风险教育没有跟上。
影响与看点
对法律行业而言，短期影响是更严格的AI使用规范：不少法院已要求披露文书中是否使用了生成式AI，部分律所开始强制对AI产出做逐条溯源核验。对AI开发者来说，这是产品设计问题——检索增强、引注可点击回源、置信度提示等功能，正在从“加分项”变成专业场景的准入门槛。
对普通用户，这件事的启示更朴素：把AI当作高效的初稿生成器，而不是事实来源。凡是涉及人名、数字、引文、法条的内容，都必须回到原始出处核对。
一个独立判断：AI幻觉不会因为模型变强而消失，只会变得更难识别。真正决定风险的，不是模型能力，而是使用它的人是否建立了核验习惯，以及行业是否把这种习惯写进规则。
