框架之争被当成能力之争,但一项对照研究给出了相反的答案:换壳几乎不改变结果,只改变账单。

发生了什么

The Decoder 报道了一项针对编码智能体(coding agent)的受控实验。研究者把同一批任务分别交给 Claude Code、OpenCode、mini-SWE-agent 等不同的 agent harness(可理解为包裹在模型外面的执行框架:工具调用协议、上下文组织方式、系统提示词、循环控制逻辑)来跑,然后对比两项指标——任务通过率和单任务成本。

结论有两层。第一层是性能:不同 harness 之间的通过率差异,并不比同一套配置重复运行带来的波动更大。换句话说,在统计意义上,换框架带来的“提升”很难与随机噪声区分开。第二层是成本:单任务开销最高可以变成原来的三倍左右,而主要推手不是模型本身,而是系统提示词——它随着智能体每一步行动被反复重发,框架越“重”、提示词越长,累积的 token 账单就越可观。

为什么重要

过去一年,编码智能体的讨论重心逐渐从“哪个模型强”转向“哪个框架好用”。终端里的 Claude Code、开源的 OpenCode、学术风格的 mini-SWE-agent,各自有一套工程哲学,社区也习惯把使用体验的差异归因于框架设计。这项研究提醒我们,需要把两件事分开看:框架影响的是交互手感、可控性和集成方式,而不必然是任务成功率。

更值得留意的是成本结构。智能体的计费方式和聊天完全不同——它不是一问一答,而是一个多步循环,每一步都要把系统提示词、工具定义、历史上下文重新塞进上下文窗口。这意味着框架层面的“精心设计”(更长的行为规范、更细的工具说明、更复杂的脚手架)会以乘法方式放大开销,而收益却未必落在通过率上。这与业界此前对 agent 脚手架“越复杂越好”的默认假设形成了张力。

影响与看点

对开发者而言,最直接的启示是评估方法要改。如果框架间的差异小于重复运行的方差,那么单次跑分的对比就缺乏说服力,需要多次重复、报告方差,并把成本作为与通过率并列的一等指标。选框架时,集成度、可调试性、权限控制这些工程属性,可能比“能不能多解对几道题”更值得权衡。

对工具厂商和模型提供方,压力落在上下文效率上:系统提示词的缓存复用、工具定义的按需注入、上下文压缩策略,都会直接决定 agent 产品的单位经济模型。谁能把“每步重发”的固定开销压下去,谁就在同等能力下拥有更低的成本曲线。

对使用者,一个务实的判断是:不要为框架的“高级感”付费,先确认它解决的问题是否真实存在。这项研究只覆盖了特定任务集与特定框架组合,结论不宜无限外推;但它提出的问题——框架带来的增益是否可测量、成本是否被计入——值得成为评估编码智能体的默认提问方式。