姜晓媛：《数据挖掘》：天使还是魔鬼？?

比特币回报率与采矿和金属采矿业的股票回报率呈负相关……特朗普在推文中使用“总统”一词四天后，茶叶分销商 Urban Tea Fall 的股价上涨……特朗普在推文中使用“总统”一词与两天后标准普尔 500 指数股价之间存在 0.43 的相关性……您对新发现的“方案”或“模式”感到惊讶吗？惊讶不惊讶？正如你所料，这样的发现离不开“大数据”和“人工智能算法”，尤其是近年来非常流行的“数据挖掘”技术。 《不信任的科学——大数据、人工智能和信息欺骗》，[美国]加里·史密斯着，孙强译，上海科学技术教育出版社2025年出版。批判色彩。估计别说“数据挖掘”，用白话来说，就是试图借助不同的“AI算法”，在庞大的“大数据”中“发现”或得到不同的数据关系。 G阿里·史密斯是美国经济学家和统计学家。他拥有耶鲁大学经济学博士学位，也是波莫纳学院经济学教授。面对当今的“大数据”和“人工智能算法”浪潮，史密斯显得明显保守。 2023年，出版《科学不可信——大数据、人工智能与信息欺骗》一书。主要论点是“错误信息”、“数据失真”和“数据挖掘”这三件事严重损害了科学的可信度，使公众不再信任科学。其中《数据挖掘》尤其讨厌他，他在书中用了大量篇幅批评它（主要是在三部分，即第8-10章）。史密斯在书中引用的各种“数据挖掘”例子当然看起来并不可笑。他将“数据挖掘”的发现称为“愚人金”（一种古铜色的铜），并认为这些数据关系不仅可能毫无意义，甚至具有欺骗性。乙但问题是，“荒唐”与“不荒唐”的界限在哪里？换句话说，在“挖掘”出来的各种关系中，如何判断一种数据关系是“荒谬”的，另一种数据关系是“不无道理”的呢？史密斯在他对“数据挖掘”的定义中似乎与这个问题相关：“在数据中寻找不受理论影响的潜在模式称为数据挖掘，也就是说，研究人员深入挖掘数据，但无法预测他们会发现什么。”他还表示：“传统的数据挖掘需要一定程度的假设，但挖掘大数据揭示了我们不知道寻找的关系和模式。” “算法寻找模式，分析师甚至从数据中推导出模式，”他引用《连线》杂志一篇题为“大数据与理论家之死”的文章说道。 “没有什么会扰乱假设。”简而言之，史密斯的意思可以概括为：传统的数据处理有理论指导和期望，而“数据挖掘”则是免费的nd easy，希望能挖掘出一些意想不到的东西（比如本文开头提到的例子就很常见）。而史密斯在书中毫不犹豫地说：“数据挖掘发现的大多数模式都是无稽之谈。”从传统数据处理到“数据挖掘”，史密斯是一位经济学家。我认为他可能没有接受过科学和工程方面的学术训练。事实上，如果“数据挖掘”持续了15年。算法”）来“挖掘”不同的结果。例如，我们可以找到牧野战役的日期（公元前1044年）。1月9日凌晨木星在天球上的位置也可以用来寻找数据中的各种其他关系——如果我们认为这种关系是显着的，那么我们可以使用数据处理技术的“频谱”。它早在互联网和人工智能出现之前就已经存在。史密斯真正讨厌的是当前对“数据挖掘”的滥用。就像为什么”我在 20 世纪 80 年代开始在天文台工作，当时星历还很流行。还是一个很常见的神经惊奇，如果你想“挖掘”它，你可以简单地用肉眼搜索数据。这就是“滥用”。从客观效果来看，基本上就是这个意思：给出一些“科学”的概念和说法，目的是欺骗公众。作者举的例子就是目前流行的区块链和比特币。史密斯认为，很多人不知道区块链是什么。他们只是认为它非常“科学”，非常高端，与其绑定的比特币应该有光明的未来。而且他认为“比特币的内在价值为零”，他提到比特币和金融史上的郁金香炒作和南海股票是同一类型——记住，这是本书作者的观点，他被认为是一位经济学家。当然，我们并不是来讨论比特币后续失败的。如果比特币真的有光明的未来，史密斯的例子就不恰当了，但这并不影响他对比特币的批评“误传。”书中第二部分揭露了“数据失真”，这也是中国读者所熟悉的。它指的是误解数据以显得“科学”，而“用数据说话”则显得更“理性”，因此更具欺骗性。史密斯提到的例子是比特币——他似乎对比特币怀有怨恨。当然，他对“数据失真”的批评在理论上仍然成立。在本书的最后两部分中，史密斯对人工智能和一些当代社会学研究进行了彻底的批评。他对人工智能行业迄今为止所声称的进展总体评价较低。纳布赫还列举了各种他认为荒唐又奇怪的“学术研究”的例子，比如女性在向男性寻求头发或马尾辫的帮助时是否更容易成功（其实这个例子并不一定荒唐）。史密斯用一种相对简单的方法指出了一个相当神秘的现象——最新的科技成果（互联网、大数据、人工智能等）正在损害之前通过科技积累的声誉，导致公众对科学失去信任：“科学家创造了大数据和分析大数据的工具，但这两者都为科学家创造了很多损害其可信度的机会。” 特别声明：以上内容（如有图片或视频）均由自媒体平台“网易号”用户上传发布。本平台仅提供信息存储服务。 注：以上内容（包括图片和视频，如有）由网易HAO用户上传发布，网易HAO为社交媒体平台，仅提供信息存储服务。