MoE 模型的参数规模早已不是唯一看点,真正决定它跑得快不快、训得稳不稳的,往往是那个不起眼的路由器。

发生了什么

MarkTechPost 发布了一篇 MoE 路由策略指南,把当前主流做法归纳为 7 类,覆盖 Top-K 软路由、Expert-Choice 路由、Sigmoid 门控、动态路由,以及 DeepSeek 系列采用的哈希路由等,并逐一对应到使用它们的模型——例如 Mixtral 的 top-2 softmax 是这一路线最广为人知的代表。文章定位是科普与索引:解释每种策略“如何决定 token 分配给哪些专家”,而不是提出新方法。

为什么重要

MoE 的基本思路是把一个大 FFN 拆成多个专家,每个 token 只激活其中少数几个,从而在总参数量膨胀的同时把单次计算量压住。但“只激活少数”这个前提,完全依赖路由器做判断。

路由策略的分歧点其实很集中:一是打分方式,softmax 还是 sigmoid,前者让专家之间竞争,后者让每个专家独立判断是否接收;二是容量与均衡,Top-K 容易出现热门专家被挤爆、冷门专家饿死的问题,Expert-Choice 反过来让专家挑 token,天然更均衡但可能让某些 token 被忽略;三是稳定性,训练早期的路由抖动会传导到整个模型。哈希路由则是另一个极端思路——不做学习式匹配,用固定规则分流,牺牲一部分灵活性换取确定性和工程上的简单。

这些选择不是论文里的细节差异,而是直接体现在推理成本、负载均衡和长尾 token 的处理质量上。

影响与看点

对开发者而言,这份梳理的实际价值在于“对号入座”:当你复现或微调某个开源 MoE 模型时,路由方式决定了你能不能安全地改专家数量、能不能做专家剪枝、batch 内序列长度变化会不会引发容量溢出。Expert-Choice 类方法对变长输入的友好度、sigmoid 门控在多专家场景下的稀疏性控制,都是落地时会踩到的坑。

对行业来说,路由正在从“实现细节”变成“架构卖点”。DeepSeek 系列把哈希路由写进模型叙事,说明头部团队已经不满足于沿用 Mixtral 式 top-2,而是在用路由设计换取训练稳定性和成本优势。

一个值得保持的判断是:路由策略没有普适最优,它和训练数据分布、专家粒度、并行切分方式强耦合。把某篇指南里的 7 种方法当成选型清单可以,当成排名则会误判——真正该问的是,你的负载特征更怕不均衡,还是更怕不确定性。