首页 > 编程知识 正文

数据仓库dw和ods的区别,数据仓库工具

时间:2023-05-04 08:10:00 阅读:271194 作者:2658

数据仓库工具箱-学习笔记3
Kimball的DW和BI框架
DW/BI系统组成分为四个:操作型原系统、ETL系统、数据展现、商业智能
一、操作型源系统
记录的是业务数据,认为原系统处于数据仓库之外,因为我们几乎不能才做这部分数据,它的目的是保留源数据的格式和内容。主要关注处理性能和可用性。

二、ETL系统
获取、转换、加载(Extract Transformation and Load,ETL)系统。其中包括工作区间、实例化数据结构、过程集合。是处于操作型源系统和DW/BI展现系统之间的区域。
数据操作流程:获取数据到ETL系统 -> 数据清洗(消除拼写错误、解决领域冲突、处理错误元素、解析为标注格式等) ->合并数据 ->复制数据 等操作。
ETL系统两个目标:
1.保持数据一致性
2.ETL中建立规范化数据表 (加载到规范化数据库中,然后加载到维度模型,很耗时间,所以慎重设计。也可以吧精力投放到到第三模块的数据展示中。但事实上,可理解性和性能往往不可兼得)

三、用于支持商业智能决策的展现区
展现区,用于组织、存储数据,支持用户、报表制作及其商业智能的查询
数据应根据维度模型来展示,一般采用星型模型,或者OLAP多维数据库。详见笔记2。需要提供各种详细数据,包括明细数据统计数据,而统计数据就是通过维度聚合而来的,比如说时间维度、订单维度、商品维度等。展现区的数据可以通过业务过程来构建。且必须使用公共的一致的维度建立维度结构,要可以共享,比如说市场、销售、财务部门都可有效使用。展现的数据必须是维度化原子的以业务为核心的!

四、商业智能的应用
商业智能(Business Intelligence,BI)。泛指为商业用户提供展现区制定分析决策的能力。关键是查询、建模、预测功能。另外ETL系统,应该与业务用户和BI应用开发者保持距离。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。