当AI被嵌入杀伤链,一次误判的代价可能是数十条人命。五角大楼的最新表态,把这个问题从假设变成了现实。

发生了什么

据 Hacker News 上引发讨论的消息,五角大楼方面承认,对 AI 系统的过度依赖,是导致针对伊朗一所学校的导弹打击发生的原因之一。这一表态意味着,美方在事后复盘中,将部分责任归因于人员对 AI 辅助决策流程的信任超出了合理边界。

需要说明的是,目前公开信息有限,具体的系统名称、决策链条细节、以及是否存在人为复核环节的缺失,尚待更完整的披露。但核心事实已经清楚:一次造成平民设施受损的军事行动,与 AI 辅助判断的失误直接相关。

为什么重要

这不是第一次有人警告军事 AI 的风险,却是少见的、由官方层面承认「过度依赖」是事故成因的案例。

过去几年,各国军方加速将机器学习引入情报分析、目标识别和态势感知。支持者的逻辑是:AI 能处理人类无法消化的数据量,缩短决策周期,减少人为疏漏。但这条逻辑有一个隐含前提——人类始终保留有效的否决权,并且有能力识别 AI 的错误。

问题在于,当系统给出高置信度的输出,而操作者又处于时间压力和信息过载之下时,「人在回路」很容易退化为形式上的签字盖章。自动化偏见(automation bias)是认知科学里早就描述过的现象:人会倾向于相信机器给出的答案,尤其在任务复杂、时间紧迫时。军事场景恰好把这两个条件拉满。

这次事件的特殊性在于,它把「过度依赖」从一个学术概念,变成了有具体伤亡后果的问责对象。

影响与看点

对军事 AI 的采购和部署而言,这次表态可能推动几方面的变化。一是复核机制会被重新设计,从「人类确认」转向强制性的多源交叉验证;二是可解释性会成为硬性要求,黑箱模型在杀伤链中的位置将受到更严格审视;三是责任归属问题会浮上台面——当 AI 建议、人类批准、结果出错,责任如何在系统开发者、指挥官和操作员之间分配。

对更广泛的 AI 行业来说,这件事的警示意义不限于军事。任何把 AI 输出直接接入高风险决策的领域——医疗诊断、金融风控、自动驾驶——都面临同样的结构性风险:系统的置信度不等于正确率,而人类的监督能力会随自动化程度上升而下降。

一个值得记住的判断是:AI 辅助决策的最大危险,往往不是模型本身出错,而是人类在长期使用中逐渐放弃质疑它的能力。这次误击事件,是这句话最沉重的注脚。