把「路由」这件事本身交给一个多模态模型来做——这是 d3-ultra 最值得注意的地方。

发生了什么

vLLM Semantic Router 团队发布了名为 d3-ultra 的开放权重模型,参数量 27B,定位是「多模态决策模型」。按官方描述,它能一次性读入文本、图像和视频,然后对每一个候选答案返回概率,而不是生成一段自然语言回复。在团队自建的 SR-Text 测试上,它取得 87.2 的分数。

需要说明的是,SR-Text 是团队自己的评测集,87.2 这个数字目前只在内部口径下成立,缺少与公开基准的横向对照,因此不宜直接与其他模型比较。

为什么重要

语义路由(semantic router)是过去一年推理栈里快速成型的一层:在请求进入大模型之前,先判断它该走哪条路——便宜的模型还是贵的模型、走检索还是走工具、要不要触发某个专用流程。这一层过去通常靠小型的 embedding 模型或分类器实现,优点是快和便宜,缺点是对复杂输入的理解能力有限。

d3-ultra 的思路变化在于两点。第一,把决策输入从纯文本扩展到图像和视频,意味着路由层可以处理「这张图该交给视觉模型还是 OCR 流程」这类问题。第二,把输出形式定为「每个答案的概率」而非自由生成,这让路由结果可以直接被阈值化、被组合、被下游系统消费,工程上比解析一段模型输出可靠得多。

换句话说,它把路由从「分类任务」推向「决策任务」,并且用开放权重的方式交出来。

影响与看点

对开发者而言,最直接的价值是路由层可以自托管、可微调。27B 不是小模型,部署成本不低,但相比把每个请求都送进更大的通用模型做判断,专用决策模型在延迟和成本上仍有空间。开放权重也意味着团队可以针对自己的业务分布做适配,而不是被迫接受一个黑箱分类器。

值得关注的几个点:一是 27B 这个规模在路由场景里偏大,实际推理开销与收益的平衡需要真实负载来验证;二是视频输入的路由在工程上仍属少见,能否稳定处理长输入是关键;三是「输出概率」这一设计是否会被下游框架广泛采纳,决定了它的生态位。

一个克制的判断:d3-ultra 更像是在为「路由层模型化」这条路线做一次公开的可行性验证,而不是一个已经定型的生产组件。它的真正意义,可能要等第三方在公开基准和真实流量上复现之后才会清晰。