跑分榜单不断刷新,但真实工作里能用上 AI 的部分,可能远比想象中少。
发生了什么
Hacker News 上出现一条讨论,标题直指一个被反复感知却少有量化的问题:美国职场约九成工作时间,花在 AI 基准测试并未良好覆盖的任务上。该帖获得数十点热度,讨论集中在“基准测的东西”和“人真正在做的事”之间的落差。
需要说明的是,这是一个观点性论断,而非经过同行评审的实证研究;它没有给出完整的测量口径,也没有说明“覆盖良好”的判定标准。因此更稳妥的读法是:它把一个行业长期存在的直觉,用一句可传播的话概括了出来。
为什么重要
过去两年,模型能力的叙事高度依赖基准:数学题、代码题、多轮问答、工具调用。这些基准的共同点是任务边界清晰、可自动判分、单轮或短程完成。而真实工作恰恰相反——需求模糊、上下文冗长、跨系统协作、结果由人而非脚本验收。
于是出现一种错位:榜单在涨,用户在日常工作里的体感提升却不成比例。这不是说基准无用,而是基准的选择本身在塑造研发方向。当团队围绕可测指标优化时,容易把资源投向“好打分”的能力,而非“好落地”的能力。
另一个背景是,AI 产品的价值越来越取决于工作流嵌入程度,而非单点能力上限。一个能写对算法题的模型,未必能可靠地处理一份格式混乱、口径不统一的业务表格。
影响与看点
对开发者而言,这意味着选型时不能只看榜单排名,应优先在自身真实任务上做小规模评测,哪怕样本只有几十条。对模型团队而言,值得投入的方向可能是长程任务、模糊指令下的澄清能力、以及与人协作时的可中断、可回退设计。
对普通用户,这条讨论的价值在于校准预期:AI 是局部加速器,不是整段工作时间的替代品。把任务拆到 AI 擅长的粒度,往往比期待它端到端接管更现实。
值得关注的是,行业是否会出现更贴近真实工时的评测范式,例如以“完成任务所需人工介入次数”或“端到端交付率”为指标。如果基准继续停留在可自动判分的窄任务上,跑分与生产力之间的裂缝只会更明显。
一句话判断:基准衡量的是模型的上限,而工作消耗的是它的下限与稳定性,两者本就不是同一件事。



