一次跑通不等于真的会做。围绕 Agent 的讨论，正在从“能力上限”转向“能力稳定性”。
发生了什么
Hugging Face 发布了一篇题为《Your Agent Aced the Task. Will It Do It Again?》的内容，把焦点放在一个常被忽略的维度上：Agent 在单次评测中完成任务，并不代表它在重复执行时还能得到同样的结果。文章由此指向当前 Agent 评测体系的一个结构性缺口——多数基准只记录“是否成功”，却很少衡量“成功的可复现程度”。
为什么重要
过去一年，Agent 类产品的宣传几乎都围绕任务完成率展开：能订机票、能改代码、能跑通多步流程。但这类数字通常来自有限次数的试验，且往往在受控条件下取得。真实使用场景里，同一个指令会被反复执行，输入会轻微变化，环境会波动，模型采样本身也带有随机性。
当这些因素叠加，单次成功就可能变成一种幸存者偏差：跑通的那一次被记录下来，失败的那些被忽略。对开发者而言，这意味着 demo 与生产之间存在一条被低估的鸿沟；对用户而言，这意味着“能用”和“敢用”是两件事。
可靠性问题并非新话题，在传统软件工程中它对应的是测试覆盖率与回归验证。Agent 的特殊之处在于，它的行为由概率模型驱动，输出空间开放，失败模式难以穷举，因此不能简单套用确定性系统的验证方法。
影响与看点
第一，评测范式可能分化。除了现有的任务成功率榜单，围绕重复执行一致性、方差、失败恢复能力的指标会逐渐出现，成为衡量 Agent 成熟度的补充维度。
第二，工程实践会前移。开发者需要在提示设计、工具调用约束、状态管理和重试机制上投入更多，而不是把稳定性寄托在模型本身。
第三，产品叙事会调整。当“偶尔惊艳”不再稀缺，能否稳定交付才是差异化所在，这会直接影响 Agent 产品的定价逻辑与信任建立方式。
一个独立判断：Agent 的下一阶段竞争，大概率不是比谁更聪明，而是比谁更不容易出错——可靠性将从工程细节上升为核心卖点。
