当模型在公开基准上的分数越来越接近饱和，评测本身的可信度就成了比分数更值得追问的问题。
发生了什么
Hacker News 上出现了一个名为 Real-SWE 的项目，定位是「在私有、真实、企业级代码库上评测 AI 模型」。它针对的是当前软件工程类基准的一个结构性缺陷：主流评测大多建立在开源仓库之上，任务与答案长期暴露在公开互联网中，模型在预训练阶段就可能已经「见过」这些代码和修复方案。Real-SWE 的思路是把评测场景迁移到企业内部的私有代码库，让任务来自真实工程环境，而非公开数据集。
为什么重要
过去一年多，SWE-bench 及其衍生基准几乎成了衡量「AI 能不能改真实代码」的事实标准。但它的成功也带来了副作用：一旦某个基准成为行业共识，它就会同时成为训练目标和营销素材。公开仓库的 issue、PR 和补丁天然可被爬取，模型在榜单上的提升，有多少来自泛化的工程能力，有多少来自对特定仓库的记忆，很难区分。
企业侧的痛点则更直接。厂商演示时用的是开源项目，客户真正关心的是「它能不能在我们的单体仓库、内部框架、历史债务里干活」。这两者之间的差距，恰恰是当前评测体系覆盖不到的地带。Real-SWE 把「私有」写进定位，等于承认了一个现实：真正有商业价值的编程能力评测，必须发生在模型训练数据之外。
影响与看点
对模型厂商而言，这类基准会削弱「刷公开榜」的边际收益，迫使能力证明转向更贴近交付的场景。对开发者与工程团队，它提供了一个更接近采购决策的参照系——不是模型在 GitHub 上多强，而是在你无法公开的代码里是否可用。
值得关注的几个点：一是私有代码库评测如何解决可复现性与数据保密之间的张力，这决定了它能否被第三方采信；二是任务设计是否覆盖遗留系统、内部 DSL、跨服务依赖这些公开仓库少见的难点；三是它会不会推动「企业内测基准」成为一种新的行业惯例。
一个独立判断：评测的下一步竞争，不在于题目更难，而在于考场更难被提前看到。Real-SWE 的价值未必在于它给出的分数，而在于它把「数据污染」这个房间里的大象，正式摆上了评测设计的桌面。
