当模型每几个月就换代一次,我们对它的认知还能保鲜多久?斯坦福的一项研究给出了一个不太乐观的答案。

发生了什么

据 The Decoder 报道,斯坦福研究者选取了 50 条被广泛引用的关于大语言模型的结论,用 20 个当前模型逐一复核。结果:44% 的结论已经“过期”,另有 34% 明显减弱——也就是说,接近八成的既有判断不再能原样成立。这些结论的平均寿命只有 15.7 个月。

一个值得注意的细节是:关于“模型做不到什么”的论断过期得最快。换句话说,那些以能力边界为对象的判断,最容易被下一代模型推翻。

为什么重要

这件事的意义不在于“某篇论文错了”,而在于研究节奏与产品节奏之间的错位。

学术研究的周期通常以年计:提出问题、设计实验、投稿、评审、发表,再到被后续工作引用和复现。而模型能力的迭代以月计。当一篇论文终于进入公共讨论、成为“常识”时,它测试的那批模型可能已经不在主流视野里了。研究本应解释模型为何如此、边界在哪,但它的对象在移动。

这带来两个连锁问题。其一,文献的“引用惯性”会放大过时结论:一条结论被引用得越多,越像事实,越少有人回头重测。其二,以能力边界为前提的研究设计会失去地基——如果“模型做不到 X”是实验的关键假设,而 X 已被攻克,那么整条论证链条都需要重建。

需要克制的一点是:结论过期不等于原研究无价值。很多工作解释的是当时的机制与现象,其方法论仍然成立;失效的是那些被当作“当前事实”来引用的具体判断。

影响与看点

对研究者而言,最实际的变化是“时效声明”可能成为标配:明确标注测试的模型版本与时间窗口,并鼓励社区做定期复测。对开发者而言,这意味着不能把论文里的能力判断直接当作选型依据,基准测试和自建评测的价值进一步上升。对读者和媒体而言,引用一条 LLM 结论时,先看它测的是哪一年的哪个模型,应该成为一种基本习惯。

值得关注的还有评测本身的可持续性:静态基准会被污染和饱和,动态、可更新的评测体系会成为基础设施级别的需求。

一个独立判断:这个领域正在从“积累知识”转向“维护知识”。谁能把结论的保质期管理好,谁就更接近真实的能力图景——这或许比再发一篇新论文更重要。