在追求更大模型和更多数据的浪潮中，图灵奖得主 Richard Sutton 发出了不同的声音。他直言，用合成数据来扩展大语言模型是一个“大错”。这一观点直指当前 AI 发展的核心路径，引发了关于数据本质和智能扩展方向的深层讨论。
发生了什么
Sutton 在一次访谈或演讲中明确表示，依赖合成数据来扩展大语言模型是“大错”。他认为，现实世界的复杂性是无限的，而任何对世界的模拟——包括合成数据——都只是“微观”的缩影，无法捕捉真实世界的全部细节。因此，基于合成数据的模型扩展，本质上是在有限的模拟中打转，无法实现真正的智能突破。
Sutton 提出的替代方案是：智能体应该从自身的经验中持续学习，而不是依赖冻结的模型和静态数据集。这种学习方式更接近人类和动物的学习过程，能够适应不断变化的环境，并积累第一手的真实经验。
为什么重要
Sutton 是强化学习领域的奠基人之一，他的观点在 AI 界具有相当的分量。近年来，随着大语言模型的发展，合成数据被广泛用于解决真实数据不足、版权和隐私等问题。OpenAI、Anthropic 等公司都在探索使用合成数据来训练模型，以突破数据瓶颈。然而，Sutton 的批评直指这一方法的根本局限：合成数据源于对真实世界的模拟，而模拟永远无法完全复刻真实世界的复杂性。
这一观点并非孤例。此前已有研究指出，过度依赖合成数据可能导致模型产生“模型崩溃”，即模型在自身生成的数据上训练后，逐渐丧失对真实分布的拟合能力。Sutton 的批评为这一担忧提供了理论层面的支持，并提出了一个更根本的问题：我们是否在用错误的方式追求“扩展”？
影响与看点
Sutton 的观点对当前 AI 行业具有直接的警示意义。对于依赖合成数据来扩展模型的公司，这意味着需要重新审视数据策略，可能需要在真实数据和合成数据之间找到更合理的平衡。对于开发者而言，Sutton 提出的“从经验中持续学习”的智能体范式，可能预示着一种新的模型设计思路——不再是一次性训练后冻结，而是能够与环境交互并不断更新。
值得关注的是，Sutton 的替代方案并非全新的概念，强化学习本身就是一个从交互中学习的框架。然而，将这一理念应用于大语言模型的扩展，可能会催生新的研究方向和产品形态。例如，能够自主探索环境、收集数据并持续改进的智能体，或许能突破当前静态数据集的局限。
当然，Sutton 的观点也面临挑战：从经验中学习需要大量的真实交互，这在许多场景下成本高昂且难以实现。但无论如何，这一批评提醒我们，在追求模型规模的同时，不应忽视数据质量和学习方式的本质。真正的智能或许不在于处理多少数据，而在于如何与无限复杂的世界互动。
