首页 > 编程知识 正文

数据仓库和数据库的区别与联系,数据仓库与数据挖掘技术

时间:2023-05-06 02:46:00 阅读:56197 作者:595

基础知识篇数据仓库的数据仓库诞生理由是什么? 1 .历史数据存储

2 .企业数据分析的必要性

历史数据存储:历史数据使用频率低,存储在业务库中,性能下降

企业数据分析需求:各部门自行建立独立的数据提取系统,导致数据不一致。

简而言之,在常规数据库(操作型数据库)中,数据时时刻刻都在发生,但对于这些数据,历史数据并不重要,大多侧重于当前的操作数据,以项目为中心。 传统的数据库内存很小,经常需要删除数据以保留最新的数据。 当前的数据时代需要对数据进行挖掘分析,从而提供政策支持,也就应运而生数据仓库数据仓库的数据来源于数据库经常是多个数据库,如果在不同的数据库中遇到数据不匹配等问题,则**提取过程(ETL ) **

数据仓库(Data Warehouse,DW)定义数据仓库之父qcdjz(billinmon )提出的*数据仓库是一组面向主题的集成的非易失性随时间变化的数据,主要用于组织积累的历史数据

数据仓库的特点是面向主题。 为数据分析服务,根据主题总结原始数据

集成:原始数据来自不同的数据源,要集成到最终数据中,需要经过提取、清洗和转换过程

非易失性:存储的数据是一系列历史快照,不允许更改,只允许工具查询、分析

时变性:数仓定期接收、整合新数据,反映数据的最新变化

ps :这里的时变与操作型数据库(业务更新)的时刻更新不同,DW定期提取数据进行存储

数据仓库VS数据库是面向事务设计的,属于在线事务处理(OLTP )系统,主要操作是随机读写,设计时尽量避免冗馀,采用规范化规范设计数据仓库关注数据整合和分析、处理性能,有意识地引入冗馀,以反范式的方式进行设计。

简单来说,数据仓库中的数据来源于几个数据库,是为了分析主题而存在的。

例如,我有销售数据库。 那里有用户信息表、商品信息表、销售订单表、商家信息表等。 对这类数据库感兴趣的是订单业务,如果没有一项业务发生,则会将记录添加到相应的表中。

对数据仓库来说,如果感兴趣的主题是销售量,那么DW侧重于销售量这一测量,其他维度则是观察该测量的维度。 例如,某年某月某地区某商品的销售量(单一订单记录)业务)并不能完成) )。

这就是业务(事务)和主题的区别。

因为需求不同,所以访问数据的方法当然不同。 这是推后。

下一篇:数据仓库和数据挖掘2

数据仓库参考

[0] twdsn主编.数据仓库与数据挖掘(第二版) .清华大学出版社,2019

[1] xhdfn着,数据仓库与数据挖掘教程,清华大学出版社,2006

[2] psdhy编着.数据仓库原理与实践,人民邮电出版社,2003 .

[3] gddhlg着数据仓库技术与实现,电子工业出版社,2002.6。

[4] [加]dgs,[加]涵盖,范明等翻译,数据挖掘概念与技术,机械工业出版社,2005。

[5] wwdlm,ggdxmf着,数据挖掘原理与技术,电子工业出版社,2003。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。