当基准分数逼近满分，它衡量的可能已不再是能力，而是出题人的想象力。阿里新推出的 Co-Design Bench 给出的，正是这样一记提醒。

发生了什么

据 The Decoder 报道，阿里巴巴发布了一个名为 Co-Design Bench 的编程智能体基准。它的出题方式与常见做法不同：测试用例来自真实用户在实际使用中已经让智能体“翻车”的请求，而非人工构造的题目。

结果并不好看。表现最好的模型 GPT-6 Astra 也只完全解决了 26.4% 的任务，也就是说接近四分之三的任务仍需人类收尾。而在更早的基准上，同一批模型的得分普遍在 99% 以上。

为什么重要

这组对比的价值不在“26.4%”这个数字本身，而在于它暴露了旧基准的失效方式。传统编程基准大多有明确输入、唯一正确输出和干净的上下文，模型只要把模式匹配做对就能拿高分。真实请求则相反：需求描述含糊、代码库上下文庞大、隐含约束散落在对话里，用户甚至说不清自己要什么。

换句话说，旧基准测的是“能不能写出正确代码片段”，新基准测的是“能不能在一个混乱的工程现场把事办成”。后者才是开发者每天面对的问题，也才是编程智能体真正要交付的价值。当一个指标长期饱和，行业就容易产生能力已经到位的错觉，采购决策、产品路线和对外宣传都会跟着失真。Co-Design Bench 的意义，是把评测的坐标系往真实世界挪了一格。

影响与看点

对模型厂商而言，这意味着刷榜的边际收益在下降。继续在饱和基准上争零点几个百分点，不如去解决长上下文理解、需求澄清、失败后自我修正这些真实短板。对开发者和企业采购方而言，这是一个务实的提醒：演示视频里的流畅体验和日常使用中的可用性之间存在明显落差，评估工具时应该拿自己的真实任务去试，而不是看榜单排名。

值得关注的还有基准本身的方法论。用“已经失败过的真实请求”出题，天然偏向困难样本，分数低是预期之内的；它的价值在于可复现地定位失败模式，而非给出一个绝对能力分。后续能否形成持续更新、覆盖多语言与多代码库的题库，决定了它会不会成为长期被引用的标准。

一个独立判断：编程智能体当前的真实定位仍是“高效副驾驶”，而非可交付的独立执行者。把这一点讲清楚，比任何榜单分数都更有助于行业建立合理预期。