ODS和DW
根据Bill.Inmon的定义,“数据仓库是面向主题的、集成的、稳定的、随时间变化的,主要用于决策支持的数据库系统”
ODS (Operational Data Store)操作型数据存储。 ODS具备数据仓库的一部分特征和OLTP系统的一部分特征,它是“集成的、当前的或接近的、不断变化的”数据,一般不保持数据的变动轨迹,数据仓库体系结构的音频
操作系统
大众汽车
主要与源系统表结构相同,表结构根据源系统而变化
面向主题的表格模型,模型比较稳定
通常只保留最新的数据或短时间的数据
历史数据、记录轨道
追求时间窗口的短,满足报告数据的实效性
批处理时间长
更新、插入和合并操作
主要是插入操作
ODS行业建设:
实施方案
特点
风险
数据仓库(DW )。
通常包括进行源数据收集和清洗的数据准备层; 有稳定成熟的模型
投入大,风险高
操作型数据存储(ODS ) )。
主要是快速收集源数据。通常还采用了DW技术。可以部分保留较少天数的历史数据,不能满足企业中长期决策需要的缺点是数量没有稳定的数据层
投资虽小,但多与技术有关
ODS DW
典型的ODS用于报告数据源,同时向DW提供数据; DW进行决策支持,提供历史数据
一般需要分阶段实施,减少风险
常用术语:
提取变换加载(ETL )
数据提取转换加载软件
例如IBM数据、信息电源中心
数据集市(DM )
数据集市也被称为“小数据仓库”。 假设数据仓库是建立在企业级数据模型之上的。 数据集市是企业级数据仓库的子集,主要面向部门级业务,仅面向特定主题。 数据集市在一定程度上可以解决访问数据仓库的瓶颈
二氧化碳系统
报告开发演示工具
立方结构
用于数据多维数据集、基于Cognos文件的多维数据组织和多维分析
主数据
主要业务数据,如客户信息、卡和帐户
元数据
数据源元数据、ETL规则元数据、OD元数据、报表元数据、接口文件元数据、业务规则元数据等数据
ODS的优缺点:
主要优点:
向MIS系统提供T 1同构表,减少源交易系统的数据访问压力; 通过阻止许多异构数据库(如DB2/400和sqlserver )并将其物理集中存储在oracle数据库中,降低了部署MIS系统的难度。 可以统一清洗和简单的处理。 例如,统一Trim; 通过允许用户访问某些集成的主数据层,可以降低源系统更改的影响。 可以统一加工多个应用系统通用的数据指标,提供通用的加工层表; 为每个源系统提供批处理结束标志,方便MIS日报的开发; 可以为MIS系统批处理作业提供统一调度; 提供部分表格的历史数据存储,便于MIS使用;缺点和不足:
改善源系统数据质量的能力有限。 例如,如果:源系统不具有上次修改日期字段,则ODS也难以为后续APP应用系统提供增量数据; 如果ETL工具能够直接访问多个源系统数据并完成数据加工,则数据准确性会更高。由于无法了解所有源系统数据(如登记册的数量),因此在一段时间内,需求会导致主机没有稳定的面向主题的数据模型无法保存大量的历史数据; 无法在批处理时间内提供数据访问;
转载于:https://www.cn blogs.com/the seven/p/4836241.html