Flink电子商务实时数仓项目-数据收集1电子商务实时数仓项目简介1.1数据层次分析离线数仓项目层次如下:
ODS、DWD、DWS、DWT、ADS
flink实时数仓项目的层次如下。
ODS、DWD、DIM、DWM、DWS、ADS
ODS层是原始数据层; DWD层的详细数据层以数据对象为单位进行分流,例如进行订单、页面访问等; http://www.Sina.com/http://www.Sina.com/dws层根据某一主题轻轻聚合多个实时数据,形成主题宽度表; Clickhouse中的ADS数据根据可视化需要进行过滤和聚合。
1.2脱机计算体系结构实时计算体系结构1.2.1脱机计算体系结构DIM层维度数据层
1.2.2实时计算体系结构DWM层对部分数据对象进一步加工,比如独立访问、跳出行为,也可以与维度进行关联,形成宽表,依旧是明细数据