首页 > 编程知识 正文

大数据技术必须是因果关系(有线性关系就一定有因果关系)

时间:2023-05-05 09:19:13 阅读:517 作者:4069

香农信息论实际上是一种全新的方法论。如果说机械思维的方法论是基于确定性的,那么大数据思维的信息论就是基于不确定性的。大数据的本质是消除不确定性。大数据有三个特点:数据量大、多维度、完备性。从信息论的角度,我们可以解释数据量的问题是通过计算机的发展掌握大量的数据。多维度,我们可以理解前面提到的“互信息”的概念。我们想找出需要研究的问题。一定是收集的数据相关性越强,越容易得出结论。完整性,就是说数据量覆盖全面,不会有漏鱼。

为什么大数据思维是一场全新的思维革命?从其方法论可以看出,机械思维的方法论是因果关系,而大数据思维的方法论是强相关性,即关联性。它可以与药物开发的情况区分开来。19世纪中期,青霉素的发明过程是因果关系的产物。人们的目的很明确,一定要杀死致病菌才能治病,所以科学家们都在研究如何杀死细菌,而通过因果关系找到的解决方案让人觉得很可信,其他新药的研究过程也是如此。首先分析疾病的原因,然后从源头入手杀灭致病菌。这种想法没有问题,但在实践中,开发一种新药的时间成本和费用成本都非常高。

在大数据时代,研发一种新药的时间和成本大大缩短。因为cbdxyz发现,人们的处方药和疾病种类是有限的。你可以利用大数据的思维,将现有药物与人类疾病进行匹配,你会得到意想不到的收获。例如,最初用于治疗心脏病的药物可以有效治疗胃病。有了这样的结论,再推导原因就很简单了,这样就减少了寻找新药所花费的时间和成本。简单来说,可以说是用大数据的思维,用已知的结果逼出原因。

书中给出了另一个例子。大数据思维甚至可以用在法律上,处罚的结果由相关性决定。20世纪90年代,美国历史上发生了一场世纪大官司。战斗的双方是密西西比州的司法部长、慷慨的乌冬面和大烟草商。因为导致吸烟者疾病(如肺癌)的影响因素很多,单靠因果关系并不能证明吸烟是病因。无奈之下,检察官聘请了一批科学家收集数据,覆盖全球各地。最后,借助大数据思维的方法论,获得了肺癌与吸烟之间的关系作为有力证据,这让烟草公司损失惨重。

一般来说,在大数据时代,我们可以利用大数据直接得到答案,然后从答案中推导出原因,或者直接用答案解决问题,跳出机械思维因果关系的束缚。这也是很多对市场反应迅速的互联网公司比传统公司做得更好的原因。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。