当开源模型的参数规模逼近闭源前沿，推理基础设施正在成为新的竞争焦点。Prime Intellect 最新推出的 Prime Inference，试图把「部署前沿开源模型」这件事变成一行 API 调用。
发生了什么
Prime Intellect 正式发布 Prime Inference，一个 OpenAI 兼容的模型推理平台，面向前沿开源模型提供 Serverless 与预留（Reserved）两种服务形态，底层运行在 NVIDIA Blackwell 硬件上。
根据官方披露，其 GLM-5.3 部署结合了 Dynamo、vLLM 以及 NVFP4 KV 压缩技术，可在每个 prefill 组上服务 66 个会话，单用户吞吐约 101 tok/s。OpenAI 兼容意味着开发者可以直接复用现有的 SDK 与调用习惯，把 base URL 指向新端点即可迁移。
为什么重要
开源模型的「可用性」长期受制于两件事：权重能不能拿到，以及拿到之后能不能高效跑起来。前者在过去两年已被大幅解决，后者却依然是大多数团队的痛点——自建推理集群意味着 GPU 采购、调度、量化、KV cache 优化等一整套工程投入。
Prime Inference 的定位正是切这一层。它不训练模型，也不发布权重，而是把「前沿开源模型的推理」产品化。OpenAI 兼容的接口设计则降低了迁移成本，让开发者可以在闭源 API 与开源模型之间更自由地切换，而不必重写业务代码。
值得注意的技术细节是 NVFP4 KV 压缩。KV cache 通常是长上下文推理的主要显存瓶颈，把它压到 4 位精度，直接决定了单卡能承载多少并发会话。66 个会话/prefill 组与 101 tok/s 每用户的组合，说明这套栈在吞吐与延迟之间做了明确取舍——优先保证多用户并发下的可用体验，而非单请求的极限速度。
影响与看点
对开发者而言，最直接的变化是接入门槛下降。过去要跑 GLM 这类前沿开源模型，往往需要自己搭 vLLM 或类似框架；现在可以先用 Serverless 验证效果，再根据负载决定是否切换到预留实例。这种「先试后买」的路径，对中小团队尤其友好。
对行业而言，这延续了一个清晰趋势：开源模型的竞争正从「谁的权重更强」延伸到「谁的推理服务更便宜、更稳、更易用」。模型能力趋同之后，基础设施与工程优化会成为差异化的关键变量。
需要保持克制的是，目前公开的信息集中在技术栈与性能指标上，定价、可用区域、模型清单的完整范围等尚未在摘要中体现。这些恰恰是决定平台能否被广泛采用的实际因素。
一个独立判断：Prime Inference 的真正价值不在于它支持了哪个模型，而在于它把「开源模型的推理」做成了标准化商品。当这一步完成，开源与闭源之间的选择，将更多取决于成本与合规，而非能力差距。
