当 AI 用一句“研究表明……”给出数字时,这个数字未必真的来自那项研究。
发生了什么
Hacker News 上一条讨论指出:AI 回答中引用的统计数据,只有约 40% 能追溯到对应的原始研究。这条信息以“24 points”的讨论热度出现,核心结论相当直接——多数被 AI 当作事实陈述的数字,在溯源环节站不住脚。需要说明的是,目前公开信息只给出了这一比例和结论方向,具体样本规模、测试方法和覆盖的模型范围并未在摘要中展开,因此不宜对其统计严谨性做过度推断。
为什么重要
大模型生成统计数字的方式,本质上是概率性的语言续写,而非数据库检索。模型在训练中见过大量“XX% 的用户……”“研究显示……”这类句式,于是学会了在合适的位置填入一个看起来合理的百分比。数字的“合理性”和数字的“真实性”是两件事,但读者很难在阅读时区分。
这正是 AI 辅助写作、研究报告、商业分析等场景的隐患所在。统计数字自带权威感,一旦被引用进文档、PPT 或新闻稿,往往会经过多轮转述而彻底脱离源头。传统媒体有事实核查流程,AI 生成内容却常常跳过这一步。40% 这个比例的意义不在于精确,而在于它揭示了一个结构性事实:溯源能力目前是生成能力的短板,而不是附带瑕疵。
影响与看点
对开发者而言,这意味着检索增强(RAG)和引用标注不能只做“看起来有出处”,而要真正把每个数字绑定到可验证的来源,并在无法溯源时明确降级为“未核实”。对内容团队而言,凡是 AI 产出的数字,都应默认进入人工核查队列,尤其是百分比、样本量和时间跨度这类高置信度错觉最强的表述。
值得关注的还有评测维度本身:如果基准测试只考察答案流畅度和表面正确率,而不考察引用可追溯性,模型厂商就没有动力优化这一项。把“引用准确率”纳入公开评测,可能比再刷高几个点的问答分数更有实际价值。
一个独立判断:在溯源机制成熟之前,AI 最危险的输出不是明显错误的答案,而是那些格式规范、语气笃定、却查无实据的统计数字。



