Google 终于拿出一款能在前沿榜单上和 OpenAI 正面站在一起的模型,但它的成绩单本身比分数更值得看。
发生了什么
据 The Decoder 报道,Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 基准上取得 97.5% 的成绩,成为继 OpenAI 之后第二家跨过 95% 门槛的实验室。
但同一模型在不同测试配置下表现悬殊:在标准测试框架(standard harness)中,得分降至 49.8%。此外,Argon 在数学与软件工程类任务上仍落后于竞争对手。
为什么重要
ARC-AGI 系列之所以被反复引用,是因为它刻意设计成难以靠记忆或模式匹配刷分——题目要求模型在少量示例中归纳出抽象规则。正因如此,它长期被视为衡量“泛化能力”而非“知识储备”的少数指标之一。
问题在于,这类基准的分数高度依赖评测配置:给了多少示例、允许多少次尝试、是否允许模型在提交前自我修正、推理预算给到多大。同一模型在“宽松配置”和“标准配置”下差出近一倍,说明 97.5% 这个数字更多反映的是评测条件,而非模型能力的稳定水位。
对 Google 而言,这个结果有两层含义。积极的一面是,它至少证明自家模型在特定条件下具备触及前沿的能力,不再是“落后一代”的叙事。克制的一面是,跨过 95% 门槛的象征意义,被 49.8% 这个数字大幅稀释——如果标准框架下的表现才是可复现的基线,那么 Argon 与真正的“前沿”之间仍有明显距离。
影响与看点
对开发者和技术选型者来说,最直接的提醒是:不要只看榜单头条数字。同一个模型名下的分数可能来自完全不同的评测协议,跨实验室比较时必须确认测试框架、尝试次数与推理预算是否对齐。
对行业而言,这再次暴露了基准评测的结构性困境。当模型厂商有动力选择对自己有利的配置时,基准就从一个客观标尺变成了营销素材。ARC-AGI 官方维护标准 harness 的做法值得肯定,但“官方分数”与“自报分数”并行传播,仍会让读者混淆。
值得关注的三点:一是 Argon 在数学和软件工程上的落后是否会在后续版本中收敛,这决定了它能否进入真实生产工作流;二是 Google 是否会公布标准框架下的完整评测细节;三是 ARC-AGI-3 本身是否会因高分频出而需要升级难度。
一个独立判断:真正值得记住的不是 97.5%,而是 49.8%——它才是这个模型在可复现条件下的大致位置。



