AI训练数据的来源正变得愈发激进。近日有报道称,部分AI公司为获取高质量文本数据,大量购买绝版书籍后直接销毁,以确保数据独占性。

发生了什么

据Hacker News上的讨论,一些AI公司正在系统性地收购稀有、绝版甚至孤本图书,然后将其物理销毁(如切碎或焚烧)。这些书籍通常来自图书馆淘汰、二手市场或私人收藏,内容涵盖文学、科学、历史等多个领域。公司声称此举是为了将书籍数字化后用于训练大语言模型,同时防止竞争对手获取相同数据。销毁行为本身并非公开宣传,而是通过供应链中的知情人士透露。

为什么重要

这一做法触及多个敏感层面。首先,绝版书往往是文化传承的重要载体,部分书籍可能没有电子版,销毁意味着永久性损失。其次,版权问题:即便书籍已绝版,版权通常仍属作者或继承人,未经许可的数字化和训练使用可能构成侵权。再者,数据垄断:通过销毁物理副本,公司实际上在制造数据稀缺,巩固自身模型优势,这可能加剧AI行业的数据不平等。最后,伦理层面:训练AI是否应不惜牺牲文化遗产?这引发了从业者和公众的强烈质疑。

影响与看点

对行业而言,此举可能促使更多公司效仿,加速数据“军备竞赛”,但也可能引发监管关注。对开发者来说,依赖此类数据训练的开源模型可能面临法律风险。对用户而言,模型能力提升的背后代价是文化资源的不可逆损失。值得关注的是,版权法在AI训练数据上的模糊地带可能因此被推动修订。独立判断:如果AI公司继续以牺牲文化遗产为代价获取数据,行业将面临更严厉的公众和监管反弹,长期来看不利于健康发展。