首页 > 编程知识 正文

元数据管理数据仓库,通过元数据管理系统可以实现

时间:2023-05-06 16:13:43 阅读:206604 作者:915

元数据管理

元数据分为业务元数据、技术元数据和操作元数据及管理元数据,业务元数据知道技术元数据,技术元数据以业务元数据为参考进行设计,操作元数据为两者的管理提供支撑。元数据与数据的对应关系如下表所示:

元数据

数据

业务元数据

(定义和业务相关数据的信息)

数据指标、数据字典、数据代码、数据安全、数据质量等

技术元数据

物理模型(关系型数据库物理模型、NoSQL数据库存储模型等)

操作元数据

数据ETL信息、处理策略数据信息、调度信息、异常处理信息

管理元数据

数据归属信息(业务归属、系统归属、运维归属、数据权限归属)

元数据管理的难点

元数据是业务和科技互通的桥梁,是数据治理的重要组成部分。因此元数据建设的好坏对金融企业整体数据以及管理带来重要的影响。我们认为元数据管理有三个难点:

数据识别:要确定要管理哪些元数据,按元数据的定义来看,只要能描述数据的数据都能作为元数据进行管理,但从价值角度讲一定要找到对数据业务、数据运维、数据运营、数据创新带来帮助的元数据进行管理,避免眉毛胡子一把抓。一般企业元数据建设都是围绕着源系统、数据平台、数据集市、数据应用中的数据模型、数据库、表、字段、报表(指标存储字段)、字段和字段间的数据关系进行管理。围绕这条主线,进一步胡管理业务元数据和操作元数据。在建设过程中要围绕本企业数据管理问题域进行虚实结合的建设。

元模型的构建:元模型其核心结构要稳定,因为元数据的建设不是一蹴而就的,需要慢慢地积累和演变,因此存储元数据的元模型结构一定要抽象出稳定的结构,比如:针对关系抽象出组合关系和依赖关系,针对模型要抽象出每一类型元数据父类或基类以方便其灵活扩展。

元数据间的关系:从元数据应用的角度来看,光分析元数据的结构对数据分析人员和数据应用的价值还不是那么突出。元数据管理的价值主要在其关系的丰富程度,举个不恰当的例子,犹如一个人,如果其社会关系足够丰富,那么其处理各种事情就游刃有余,元数据也类似数据分析和应用,一定是从其关系中探寻出数据的价值,进而知道业务或进行数据创新,从长期的实践中发现,基于信息项或字段的元数据关系构建是最稳定的。

元数据管理最佳实践

结合我们多年数据治理的经验,我们认为需要从以下三个方面进行元数据管理。

谋定而后动:元数据管理是一盘棋,需要进行管理设计,如基于规范和制度的设计、元模型的设计、实施的设计、推广的设计,每一环节都要想一想再动。

选好价值点:元数据管理是纷繁复杂的,它是对企业数据现状的一种抽象、整合和展现,其管理是复杂和不容易的,其价值有可能是隐形的、不容易察觉的,它是一项承上启下,贯通业务和技术的基础性管理工作,因此需要选好不同时期其管理的价值点,以逐步影响企业的方方面面,

选好工具:元数据管理可借助管理工具使管理工作变得相对快速和简单一些,如元数据的采集、元数据存储、数据血统、数据地图、元数据整合等都可以通过元数据工具来实现。

数据价值的保障:数据质量

数据质量管理是金融企业数据治理的有机组成部分。高质量的数据是金融企业进行分析决策和规划业务发展的重要基础,只有简历完整的数据质量体系,才能有效提升银行数据的整体质量,从而更好地为客户服务,提供更为精准的决策分析数据。数据质量体系如下图:

 

从技术层面上,应该完整全面地定义数据质量的评估维度,包括完整性、时效性等,按照已定义的维度,在系统建设的各个阶段都应该根据标准进行数据质量检测和规范,及时进行治理,避免事后的清洗工作。数据质量的评估维度如下表所示:

维度

描述

衡量标准

自动检查

完整性

业务必须的数据项被记录

业务必须的数据项是否完整、空字符;数据源是否完整、数据取值是否完整。

及时性

数据及时更新、获取,体现当前实时

当需要使用时,数据能否反映当前事实,能够满足系统对数据的时间要求,如:位置信息等。

唯一性

该数据在特定数据集中不存在重复值。

在制定的数据集中是否存在重复数据

参照完整性

数据项在被饮用的父表中有定义

数据项是否在父表中有定义

依赖一致性

数据项与数据项之间的依赖关系

数据项取值是否满足与其他数据项之间的依赖关系

基数一致性

数据项在子表中出现的次数符合标准

如:一个账户一年计息次数为4次,就要符合账户和计息次数为1:4的标准

准确性

数据必须体现真实情况

数据内容与定义必须一致

精确性

数据精度必须满足业务要求

数据精度是否达到业务要求

可信度

数据的可信依赖度

根据客户调查或客户主动提供获得

……

……

……

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。