让模型自己出题、自己判卷、自己改进流程,听起来像是通往持续自我提升的捷径。Sakana AI 的 MASS 方法把这条路径跑通了一部分,也顺手暴露了它最脆弱的地方。

发生了什么

据 The Decoder 报道,Sakana AI 提出的 MASS 方法让单个语言模型在三个角色之间轮转:解题、评判结果、优化工作流。经过两轮迭代,改进后的模型对基座模型的胜率接近 70%。

问题出在盲区上。当模型在解题、评判、优化这三个环节中犯下同一类错误时,它没有能力识别出这是错误——因为三个角色共享同一套认知缺陷。结果是模型把这些错误当作进步信号,在后续训练中不断强化。

为什么重要

自我改进(self-improvement)一直是 AI 研究里最有吸引力也最危险的方向之一。吸引力在于它绕开了人类标注的瓶颈:模型可以自己生成训练信号,理论上进入正反馈循环。危险在于,这个循环的裁判也是模型自己。

MASS 的巧妙之处在于把「裁判」拆成了多个角色,用流程上的分工来制造一定的内部张力。但报道揭示的核心问题是:角色分工并不等于认知独立。同一个模型扮演三种身份,共享的是同一套权重、同一套偏见、同一套知识边界。它在解题时忽略的边界条件,在评判时同样会忽略;它在评判时放过的逻辑跳跃,在优化流程时同样会放过。三个角色互相点头,错误就被盖章确认为正确。

这其实是一个经典的自我评估困境:模型无法可靠地评判超出自身能力范围的东西。如果它能准确识别某个错误,它大概率一开始就不会犯这个错误。

影响与看点

对做 agent 和自动化工作流的开发者来说,MASS 的结果有两层含义。

正面看,近 70% 的胜率说明多角色自我迭代在工程上是可行的,不需要外部标注就能拿到可观的提升,这对成本敏感的场景很有吸引力。

负面看,盲区强化是一个系统性风险,而不是偶发 bug。它意味着自我改进系统需要外部锚点——人类抽查、独立的验证模型、或者可验证的客观信号(比如代码能否跑通、数学答案能否被形式化检验)。纯靠模型内部互相打分,越练越自信,但未必越练越对。

值得关注的看点是:Sakana AI 会如何设计机制来检测和打断这种盲区强化?是引入异构模型做交叉验证,还是在流程里加入不确定性阈值?这决定了 MASS 是停留在论文里的漂亮数字,还是能变成生产环境里可信的自我改进管线。

一个独立判断:自我改进的天花板,不取决于模型能多快地优化自己,而取决于它能否意识到自己不知道什么。目前来看,后者仍是未解的那一半。