一家此前并不知名的团队,选择用最重的方式进入大模型赛道:从零预训练,并把上下文窗口直接推到 1000 万 token。

发生了什么

Mirendil 发布了公司首个模型 Fern 0.1。据 MarkTechPost 报道,该模型是从零开始预训练的,而非在现有开源权重上做微调或续训,上下文窗口达到 1000 万 token。官方将其定位为面向智能体 AI 研发(agentic AI R&D)的模型。

在长上下文基准 RULER 的“单针检索”(single needle)测试中,Fern 0.1 在 1000 万 token 长度下取得 100% 的成绩。与此同时,报道也明确指出,该模型在智能体编程任务上仍落后于前沿模型。

为什么重要

1000 万 token 的上下文并非首次出现,但把它作为首个模型的卖点、并强调从零预训练,是一个值得注意的信号。

一方面,从零预训练意味着团队掌握了数据配比、训练流程和架构选择的完整链路,而不是依赖社区权重做二次开发。这类团队通常有明确的长期路线图,Fern 0.1 更像是一个起点而非终点。

另一方面,“单针检索满分”和“智能体编程落后”这两条信息放在一起,恰好勾勒出当前长上下文模型的典型短板:能在超长文本里精准定位一条信息,不等于能在长程任务中持续做多步推理、调用工具、维护状态。RULER 的单针测试本质上是检索能力的下限检验,它证明模型“找得到”,但不证明模型“用得好”。

影响与看点

对开发者而言,Fern 0.1 的价值取决于它能否在真实的长文档分析、跨文件代码理解、长周期智能体任务中兑现 1000 万上下文的承诺。单针满分是入场券,不是终点。

对行业而言,又一家从零预训练的团队入场,说明基础模型的进入门槛仍在被重新定义——不是更低,而是更分化:要么在规模上拼资源,要么在特定能力(如超长上下文)上做差异化。Mirendil 显然选了后者。

值得关注的三个点:一是 Fern 0.1 是否开放权重或 API,这决定了它的实际触达范围;二是长上下文在真实智能体任务中的表现,尤其是多步工具调用下的稳定性;三是团队后续迭代速度,首个模型的能力边界往往不能代表其真实水平。

一个克制的判断:长上下文正在从“参数竞赛”变成“工程竞赛”,谁能把 1000 万 token 真正用进工作流,谁才有话语权。Fern 0.1 目前展示的是能力上限的一个切面,而非完整答案。