OpenAI 与 Anthropic 在抽象推理基准 ARC-AGI-3 上的竞争出现新转折。OpenAI 声称其最新模型 GPT-5.6 Sol 在该测试中取得了 38.3% 的得分，高于 Anthropic Opus 5 此前创下的 30.2% 记录。然而，这一成绩是在 OpenAI 自己的 API 环境中，通过保留推理链和上下文压缩等定制化手段实现的。在官方标准测试环境下，同一模型仅获得 7.8% 的分数。
发生了什么
根据 The Decoder 报道，OpenAI 针对 Anthropic 此前在 ARC-AGI-3 上创下的记录做出了回应。ARC-AGI-3 是一个旨在衡量模型抽象推理能力的基准测试，要求模型从少量示例中归纳出模式并应用于新任务。OpenAI 使用其最新模型 GPT-5.6 Sol，通过自定义测试工具（custom test harness）取得了 38.3% 的成绩。该工具利用了 OpenAI 自家 API 提供的功能，包括保留完整的推理过程（reasoning）和上下文压缩（context compaction），这些在官方测试环境中并不具备。当模型在官方标准环境下运行时，得分仅为 7.8%，远低于 Anthropic Opus 5 的 30.2%。Anthropic 的 Opus 5 在达成其记录时并未使用类似辅助手段。
为什么重要
这一事件凸显了 AI 模型基准测试中的一个核心问题：测试环境的差异可能导致结果天差地别。ARC-AGI-3 的设计初衷是评估模型的通用推理能力，而非在特定 API 优化下的表现。OpenAI 的声明虽然技术上正确，但其成绩依赖于非标准的测试条件，使得与 Anthropic 结果的直接比较变得复杂。这反映了当前 AI 行业在基准测试上的一种趋势：模型厂商越来越倾向于在自家生态内优化测试流程，从而获得更有利的分数。对于研究者和开发者而言，这意味着需要更加审慎地解读基准测试结果，关注测试环境、提示策略和辅助工具等细节。此外，该事件也再次引发了关于“什么是公平比较”的讨论，尤其是在闭源模型和专有 API 日益普及的背景下。
影响与看点
- 对行业的影响：基准测试的公信力面临挑战。如果各厂商都采用定制化测试环境，基准将失去横向比较的意义。未来可能需要制定更严格的测试标准，或推动第三方独立评估。
- 对开发者的启示：在选择模型时，不应仅依赖厂商公布的基准分数，而应基于自身使用场景进行实测。OpenAI 的 API 功能（如保留推理链）可能在某些任务中带来优势，但需评估其通用性。
- 值得关注的趋势：模型能力与测试环境深度绑定，可能促使更多厂商构建封闭生态。同时，Anthropic 等竞争对手可能会强调其结果的“纯净性”，以形成差异化。
- 独立判断：OpenAI 此举更像是一场营销博弈，而非真正的技术突破。真正的通用推理能力应能在标准环境下稳定复现，而非依赖定制工具。
