当主流AI安全研究还在用红队测试和基准评估时,一位数学家提出了一条更激进的路:像密码学家证明密码不可破解那样,用数学证明AI是安全的。
发生了什么
加拿大数学家、新晋菲尔兹奖得主 Jacob Tsimerman 宣布成立数学AI安全研究所(Mathematical A.I. Safety Institute,简称 MAISI)。该机构的核心主张是把AI安全从工程经验问题转化为数学证明问题——不再依赖"我们测了很多次都没出事",而是追求"在给定假设下,可以证明系统不会产生某类危险行为"。
目前公开信息有限,机构的具体研究议程、人员构成和资金来源尚未披露。
为什么重要
密码学的可信度建立在可证明性之上:一个加密方案的安全性可以被归约到某个公认困难的数学问题上,攻击者要破解它,等价于解决一个数学界长期未解的难题。这种"归约证明"让密码学不必依赖"至今没人攻破"这种脆弱的信心。
AI安全领域长期缺乏类似的东西。当前的对齐研究、可解释性研究和评估基准,本质上都是经验性的:它们能发现已知的失败模式,却无法保证未知的失败模式不存在。Tsimerman 的提议指向一个根本问题——AI系统的行为空间是连续的、高维的、随训练数据变化的,能否在其中找到类似密码学归约的数学结构?
这个方向并非全新。形式化验证在芯片和编译器领域已有几十年积累,可证明安全的神经网络验证也是活跃的研究方向。但把"证明AI安全"提升为一个独立机构的使命,并明确对标密码学范式,是一次定位上的升级。
影响与看点
对研究者而言,MAISI 的价值可能不在于短期内产出可用的安全证明,而在于提出正确的问题:什么样的AI安全性质是可证明的?证明需要哪些假设?这些假设在现实中是否成立?
对行业而言,如果这条路线取得任何实质进展,都可能改变AI监管和合规的技术基础——从"通过测试"转向"提供证明"。这对高风险场景(医疗、金融、自动驾驶)尤其有吸引力。
值得警惕的是,可证明安全在密码学中之所以可行,是因为密码方案的形式化程度极高、目标极其明确(比如"区分两个分布")。AI系统的目标和边界远没有这么清晰,"安全"本身就是一个难以形式化的概念。一个诚实的判断是:MAISI 更可能先产出方法论和负面结果(证明某些性质不可证明),而非直接给出"这个模型是安全的"的证书。



