当主流大模型还在自回归的框架里逐字生成时,Inception 选择用扩散模型来写文本,并把速度作为核心卖点。
发生了什么
Inception 发布了 Mercury 3,官方将其定位为一款扩散式(diffusion)语言模型,宣称推理速度可达每秒 1000 token 量级。该消息在 Hacker News 上获得关注,讨论热度约 60 分。除速度指标外,目前公开信息有限,模型规模、上下文长度、评测成绩与开放方式等细节尚不充分,因此对其实际能力仍需保持谨慎。
为什么重要
当前主流 LLM 几乎都采用自回归方式:一次预测一个 token,逐个串行输出。这种方式稳定、易扩展,但推理延迟随输出长度线性增长,成为长文本生成和实时交互场景的瓶颈。扩散模型在图像领域已被验证——先学整体分布,再从噪声中逐步去噪还原——理论上可以并行生成多个 token,从而压缩延迟。
把扩散用于文本并非新想法,过去几年已有研究尝试,但长期受制于文本离散性带来的质量损失,难以在效果上追平自回归模型。Mercury 系列的意义在于,它试图把这条路线从论文推向可用产品,并用“每秒千 token”这种直观指标向开发者喊话。如果速度优势能在真实任务中兑现,而不以明显牺牲质量为代价,那么推理成本与交互体验的想象空间会被重新打开。
影响与看点
对开发者而言,最直接的问题是:速度提升是否伴随质量下降。高吞吐在批量生成、代码补全、实时对话等场景价值明显,但若在复杂推理或长上下文任务上表现不稳,实际采用仍会受限。
对行业而言,这延续了近期的“速度竞赛”趋势——推理效率正与模型能力并列成为卖点,专用推理硬件与新型架构的结合也在加速。扩散式 LLM 若被证明可行,可能促使更多团队重新评估自回归之外的架构选择。
值得关注的几个点:官方是否公布可复现的基准测试;模型是否开放 API 或权重;在真实业务负载下,1000 tok/s 是峰值还是稳定值。我的判断是,速度指标本身容易制造声量,但扩散式文本生成能否跨过质量门槛,才是决定这条路能否走远的关键。



