当大模型推理从“能跑起来”进入“要跑得稳、跑得省”的阶段，调度层的价值开始显现。Buoyant 新开源的 Kinference，正是冲着这一层去的。
发生了什么
Buoyant 发布了 Kinference，一个以 Apache 2.0 许可开源的推理控制面，目标场景是 Kubernetes 上运行的 vLLM。按官方描述，它提供三类能力：声明式的路由策略、KV-cache 感知的负载均衡，以及按租户维度的指标。Buoyant 在自家基准测试中称，中位首 token 延迟（TTFT）降低了 95%。该消息由 MarkTechPost 报道。
需要说明的是，95% 这一数字来自厂商自测，测试条件、模型规模、并发形态均未在摘要中披露，读者不宜直接外推到自己的生产环境。
为什么重要
vLLM 已经成为自托管推理的主流选择之一，它解决了吞吐和显存效率问题，但并没有解决“多个服务、多个租户、多个副本之间怎么分流量”的问题。在 Kubernetes 上，这通常由通用的负载均衡器承担，而通用负载均衡器对推理负载几乎一无所知——它看到的只是 HTTP 请求，看不到每个副本的 KV cache 里已经缓存了什么。
KV-cache 感知的调度之所以关键，是因为推理的 prefill 阶段成本与上下文复用强相关。把请求路由到已经持有相关前缀缓存的副本上，可以显著减少重复计算，直接体现为首 token 延迟下降。这类能力此前多见于闭源推理网关或各家云厂商的托管服务，开源侧相对稀缺。
Buoyant 本身以服务网格 Linkerd 闻名，做控制面是它的老本行。把这一经验迁移到推理场景，逻辑上顺理成章，也意味着它大概率会强调轻量、与现有 Kubernetes 生态的兼容，而非另起一套重型基础设施。
影响与看点
对在 Kubernetes 上自托管 vLLM 的团队来说，Kinference 补上的是一块此前需要自己写胶水代码的空白：多租户隔离、按租户观测、以及缓存友好的路由。声明式路由策略意味着这些规则可以像其他 K8s 资源一样被版本化和审计，这对平台团队是实打实的便利。
值得关注的几点：一是基准的可复现性，95% 的 TTFT 改善在什么并发和缓存命中率下成立，决定了它的实际适用范围；二是与 vLLM 上游的耦合程度，KV-cache 感知调度往往依赖推理引擎暴露的内部状态，接口变动会带来维护成本；三是多租户指标能否与现有可观测栈（Prometheus 等）顺畅对接。
一个独立判断：推理控制面正在从“云厂商的差异化功能”变成“开源基础设施的标准件”，Kinference 的出现加速了这一进程，但它能否站稳，取决于社区是否愿意把它当作默认组件，而不只是 Buoyant 自家产品的入口。
