当产品规模跨过十亿用户量级,存储层的每一次读写都会被放大成系统性问题。OpenAI 在技术博客第二部分里,讲了它如何重构在线存储系统 Habitat。
发生了什么
OpenAI 披露了 Habitat 的扩容思路:通过可靠的多租户机制、全局缓存,以及 Azure Cosmos DB 的配合,把读取性能提升到原来的 12 倍。这篇内容属于系列文章的第二部分,延续此前对在线存储架构的讨论,重点落在「如何在大规模下保持可靠与低延迟」这一工程问题上。
需要说明的是,官方摘要只给出了方向性的技术要素和 12× 读取加速这一结果,并未展开具体的分片策略、缓存失效机制或一致性模型细节。因此这里不做超出原文的推断。
为什么重要
ChatGPT 的存储负载有几个鲜明特征:读远多于写、访问模式高度集中、用户请求对延迟极其敏感。对话历史、会话状态这类数据既要被频繁读取,又必须保证不同用户之间的严格隔离。多租户在这里不只是「省钱」的手段,而是正确性问题——一个租户的数据绝不能泄漏到另一个租户。
全局缓存解决的是另一类矛盾:热点数据被反复读取,如果每次都穿透到后端数据库,成本和延迟都不可接受。把缓存做成全局层,意味着跨区域、跨实例的读取可以就近命中,而不必回源。Cosmos DB 的角色则更偏向承载需要全球分布、可弹性扩展的那部分持久化需求。
这三者组合起来,本质是在「隔离性」「延迟」「成本」之间找一个可扩展的平衡点。12× 的读取提速,说明优化主要发生在读路径上,这也符合对话类产品的负载画像。
影响与看点
对开发者而言,这篇内容的价值不在于照搬架构,而在于它示范了一种思路:当单点优化见顶时,把缓存提升为全局基础设施、把多租户当作一等设计约束,往往比继续堆机器更有效。对使用 Azure 生态的团队,Cosmos DB 在这个量级下的实际表现也提供了一个可参考的样本。
对普通用户,这类工程投入的直接体感是响应更快、高峰期更稳。但也要看到,官方披露的是结果指标而非完整方法论,真正的难点——缓存一致性、租户隔离的故障边界、跨区域数据同步——仍藏在细节里。
一个独立判断:大模型产品的竞争,正在从模型能力本身,悄悄延伸到「能不能把模型稳定地交付给十亿人」的工程能力上。存储这类「不性感」的底层,恰恰是规模化的真正门槛。



