OpenAI 与 Anthropic 在 ARC-AGI-3 基准上的较量出现新转折。OpenAI 声称其最新模型 GPT-5.6 Sol 得分 38.3%，超过了 Anthropic 此前创下的纪录。然而，这一成绩并非在官方标准测试环境下取得，而是使用了 OpenAI 自身的 API 功能及两项额外设置。在官方测试设置下，GPT-5.6 Sol 的得分仅为 7.8%。
发生了什么
ARC-AGI-3 是一个旨在衡量 AI 系统泛化能力的基准测试，由 ARC Prize 组织维护。Anthropic 的 Opus 5 此前以 35.2% 的得分保持纪录。OpenAI 声称，通过其最新 API 和两个额外设置（具体细节未完全披露），GPT-5.6 Sol 达到了 38.3% 的得分。但 ARC Prize 组织指出，其测试环境是提供商中立的，并暗示 OpenAI 使用的 API 版本可能较新，而官方测试环境可能使用了过时的 API，导致比较存在偏差。
为什么重要
这一事件凸显了 AI 基准测试中日益严重的“测试集污染”和“设置操纵”问题。随着模型能力接近饱和，厂商倾向于通过优化测试环境而非模型本身来提升分数。ARC-AGI-3 本意是评估模型的泛化能力，但不同 API 版本和额外设置可能引入不公平优势。如果基准测试无法保持中立和一致性，其公信力将受到质疑。此外，OpenAI 和 Anthropic 的竞争已从模型能力延伸到基准测试的“军备竞赛”，这可能误导行业对真实进展的判断。
影响与看点
对开发者而言，这一争议提醒他们：依赖单一基准测试评估模型存在风险。实际应用中的表现可能与基准分数大相径庭。对行业而言，需要更透明的测试规范和第三方验证。值得关注的是，ARC Prize 是否会调整测试流程以堵住 API 版本差异的漏洞。此外，OpenAI 的“额外设置”具体是什么？如果这些设置可公开复现，那么 38.3% 的分数或许仍有参考价值；否则，它更像是一次营销动作。独立判断：在基准测试失去公信力之前，厂商应主动披露测试的全部条件，否则分数将沦为数字游戏。
