Mira Murati 离开 OpenAI 后创立的新公司 Thinking Machines Lab,近日发布了其首个大模型——一款拥有 9750 亿参数的开源权重模型。该模型在多个权威基准测试中取得了领先成绩,标志着开源模型在规模与性能上迈上新台阶。

发生了什么

Thinking Machines Lab 于今日正式发布了这款 975B 参数的大语言模型,并开放了模型权重。根据公开信息,该模型在 MMLU、HellaSwag、HumanEval 等多项基准测试中,表现超越了同规模的开源模型,甚至在某些任务上接近或达到了闭源模型的水平。模型采用 Transformer 架构,训练数据涵盖多语言文本和代码,支持长上下文处理。

为什么重要

此前,开源大模型的参数规模多在 70B 到 180B 之间,而 975B 参数的开源模型尚属首例。Mira Murati 作为前 OpenAI CTO,其新公司的技术路线一直备受关注。此次发布不仅展示了 Thinking Machines Lab 在训练超大规模模型上的工程能力,也意味着开源社区将获得一个前所未有的强大基础模型。这对于降低大模型使用门槛、促进学术研究和中小企业的 AI 应用具有重要意义。

影响与看点

对开发者而言,该模型的开源权重意味着可以进行本地部署和微调,但 975B 参数对硬件的要求极高,普通用户难以直接运行。未来可能出现量化版本或 API 服务来降低使用门槛。对行业而言,这一发布可能加速开源与闭源模型的性能竞赛,并推动更多公司投入超大规模开源模型的研发。值得关注的是,该模型是否会在特定领域(如代码生成、数学推理)产生突破性应用,以及 Thinking Machines Lab 后续是否会推出更小规模的版本以覆盖更广泛的用户。

总体来看,975B 开源权重模型的出现,是开源大模型发展的重要里程碑,但其实际落地效果和生态建设仍需时间检验。