当AI模型的能力越来越强，评估它们的基准测试却可能成为被操纵的靶子。谷歌DeepMind正在尝试用双盲实验和机密计算，为AI评估注入信任。
发生了什么
谷歌DeepMind正在测试一种全新的AI模型评估方式：双盲评估。在这个试点项目中，他们与新加坡AI安全研究所合作，对一款Gemini Flash Lite模型进行测试。
关键创新在于使用了谷歌的机密计算产品Confidential Space，通过加密保护，确保谷歌无法看到测试问题，而评估者也无法看到模型权重。这意味着，模型评估过程对双方都是不透明的，从而避免了任何一方的潜在偏见或操纵。
这是首次对前沿AI模型进行这样的双盲评估，如果成功，可能为AI基准测试设立新的标准。
为什么重要
AI基准测试是衡量模型能力的标尺，但近年来，这个标尺的可信度正在受到质疑。一方面，模型可能通过数据污染——即测试数据出现在训练集中——来获得虚高的分数。另一方面，基准测试本身也可能被过度优化，导致模型在特定测试上表现优异，但实际能力却名不副实。
谷歌DeepMind的这项尝试，直指这些问题的核心。通过双盲设计，测试问题对模型开发者保密，降低了数据污染的风险；同时，模型权重对评估者保密，防止了评估过程中的主观偏向。这种机制借鉴了医学研究中的双盲试验，旨在确保评估的客观性和公正性。
此外，这项尝试也反映了AI安全领域的趋势：随着AI系统的影响力越来越大，评估其能力和风险的过程需要更高的透明度和可信度。新加坡AI安全研究所的参与，表明这不仅是商业行为，也是全球AI治理的一部分。
影响与看点
如果这种双盲评估方法被广泛采用，它可能改变AI基准测试的生态。对于开发者来说，这意味着他们的模型将接受更严格的检验，但同时也可能获得更可信的评估结果。对于用户和监管者来说，这将提供更可靠的模型性能参考，有助于做出更明智的决策。
值得关注的是，这种评估方式能否扩展到其他模型和场景。目前试点只涉及一个模型，且是较小的Gemini Flash Lite，对于更大、更复杂的模型，机密计算的开销和可行性如何，还有待验证。此外，双盲评估是否能真正防止所有形式的操纵，也需要在实践中检验。
一个独立的判断是：这项尝试的价值不在于它能否立刻成为标准，而在于它承认了AI基准测试的信任危机，并提供了可操作的技术方案。在AI能力快速迭代的当下，建立可信的评估体系，可能比模型本身的能力提升更为紧迫。
