首页 > 编程知识 正文

数据仓库edw层和ods层,ODS和数据仓库的区别

时间:2023-05-05 20:11:39 阅读:230339 作者:778

参考:数据仓库中的ODS、EDW、和DM层是什么?(系列3) (pmcaff.com) 数据仓库各层说明:

一、数据加载层:ETL(Extract-Transform-Load)
二、数据运营层:ODS(Operational Data Store)
三、数据仓库层:DW(Data Warehouse)
   1. 数据明细层:DWD(Data Warehouse Detail)
   2. 数据中间层:DWM(Data WareHouse Middle)
   3. 数据服务层:DWS(Data WareHouse Service)
四、数据应用层:APP(Application)
五、维表层:DIM(Dimension)
 

注意问题:

1. 数据仓库的分层,只是一个概念上、处理方式上的分层,在计算机处理中,大多还是在一个数据库中、通过建不同的数据表来实现的,并不存在严格的物理区隔;

2. 你可以把它叫做:1、2、3层,方便理解,但为了与别人的理解保持一致,还是需要跟同事沟通清楚,明确各层的数据含义;

3. 有些公司的实践中,会在数据仓库中分3层以上,比如会将EDW层分解为两层,分别为轻度汇总层、中度汇总层。这是跟着业务需要走了,理解分层的目的即可;

4. DM层并不一定从EDW层中获取,有依赖关系的字段,在没有被提取到EDW层之前,仍然需要从ODS层获取;

5. 同理:数据应用也并不一定要从EDW层或者DM层中获取,临时类需求,从ODS层反而更快。

总结一下:

1. 数据仓库分层的核心:提高数据应用的效率、效果;

2. 分层的定义:

数仓分层数据来源特点ODS操作型数据、实时数据,日志数据等近似=raw dataEDWODS层按明确主题和维度进行ETL的数据表DWODS、EDW层面向明确应用,ETL获取的数据表

CSS中div滚动条样式如何设置HTML div三边怎么加边框

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。