首页 > 编程知识 正文

阿里数据中台架构,智能化数据中台架构

时间:2023-05-03 17:48:06 阅读:158623 作者:4959

总体体系结构图

数据存储

计算引擎

数据聚合数据聚合是指将数据资源实时、批量地存储在数据中心。 它基本上是根据数据的原始状态积累起来的,是企业成果对过去所有IT信息化建设积累的融合。

数据开发数据开发是数据资产内容建设的主战场是数据价值生产过程中的核心环节数据资源是原材料,数据资产是商品,数据开发是商品生产线,通过该生产线将数据资源转换为数据资产。

为了降低开发难度,提高开发效率,需要可视化的开发平台,主要包括以下产品功能:

数据体系的数据体系在全域数据资源的基础上,进行标准定义和分层建模,数据体系建设最终出现的结果是完整、规范、标准、准确的数据体系,可以支持数据应用。

贴源数据层STG:数据资源通过批量同步和实时访问临时存储的数据层,仅存储增量或全部数据的一部分。 数据结构与源系统基本一致。 只进行单纯的合并、非结构化数据的结构化处理、审计列的追加,不进行深度清洗加工。

操作数据层ODS:处理粘贴源数据层,存储全部量的数据。 数据结构和贴源层一致。

分为统一数仓层DW:详细数据层DWD、摘要数据层DWS、公共维度层DIM。 按照维度建模的方式进行数据组织,定义统一的维度和指标,各业务板块、业务域按照统一规范独立建设,通过清洗、规范形成统一规范的标准业务数据体系。

按照明细数据层DWD:业务流程建立事实表,主要包括维度表的关键、原子指标、少量冗余列和审计列。

将3358www.Sina.com/dwd层聚合到每个业务域中,制作粗粒度的事实表。 主要包括维度表的键、派生指标、少量冗余列、审计列。

汇总数据层DWS:为每个实体对象或数据字典创建维表,主要包含文本信息、离散数值和审计列。

公共维度层DIM:面向对象建模是将跨业务块、数据域的特定对象数据合并起来,用ID-Mapping贯穿各业务块、各业务流程中同一对象的数据主要包括标签类别、标签和标签值。

标签数据层TDM:根据业务需要从统一数量仓库层和标签数据层提取数据,针对业务的特殊需求加工业务特定的数据,满足业务和性能的需要,在特定的APP应用中组装APP应用数据。

资产管理体系的数据资产是指企业所有或管理的、能够为企业带来未来经济利益的以物理或电子方式记录的数据资源,如文件资料、电子数据等。 在企业中,并非所有数据都构成数据资产。 数据资产是为企业创造价值的数据资源。

数据资产管理是一组规划、控制和提供数据和信息资产的业务功能。 这包括开发、执行和监测数据规划、政策、方案、项目、流程、方法和程序,以控制、保护、提供和提高数据资产的价值。 数据资产管理必须充分集成业务、技术和管理,以确保数据资产的增值。

数据标准管理数据标准是指保证数据内外使用和交换的一致性和准确性的规范化约束。 数据标准分为基础类数据标准和指标类数据标准。 基础性数据标准是指在业务流程中直接生成、未经加工和处理的基础性业务信息。 指标类数据标准是指具有统计意义的基础类数据,通常是通过按照一定的统计规律计算得到一个以上的基础数据。

数据标准包括三个元素:标准类别、数据元素和数据属性。

数据标准管理是指数据标准制定和实施的一系列活动。 数据标准管理的目标是通过制定和发布统一的数据标准,结合制度约束、系统控制等手段,实现数据的完整性、有效性、一致性、规范性、开放性和共享性管理,为数据资产管理活动提供规范依据。

style="text-indent:0;">

数据模型管理

数据模型是现实世界数据特征的抽象,用于描述一组数据的概念和定义。数据模型从抽象层次上描述了数据的静态特征、动态行为和约束条件。

数据模型管理是指在信息系统设计时,参考业务模型,使用标准化用语、单词等数据要素来设计企业数据模型,并在信息系统建设和运行维护过程中,严格按照数据模型管理制度,审核和管理新建数据模型,数据模型的标准化管理和统一管控,有利于指导企业数据整合,提高信息系统数据质量。

数据模型是数据资产管理的基础,一个完整、可扩展、稳定的数据模型对于数据资产管理的成功起着重要的作用。通过数据模型管理可以清楚地表达企业内部各种业务主体之间的数据相关性,使不同部门的业务人员、应用开发人员和系统管理人员获得关于企业内部业务数据的统一完整视图。

数据质量管理

数据质量管理是通过计划、实施和控制活动,运用质量管理技术度量、评估、改进和保证数据的恰当使用。

元数据管理

元数据是有关一个企业所使用的物理数据、技术和业务流程、数据规则和约束以及数据的物理与逻辑结构的信息。

元数据管理是数据资产管理的重要基础,是为获得高质量的、整合的元数据而进行的规划、实施与控制行为。

数据安全管理

数据安全管理是指对数据设定安全等级,按照相应国家/组织相关法案及监督要求,通过评估数据安全风险、制定数据安全管理制度规范、进行数据安全分级分类,完善数据安全管理相关技术规范,保证数据被合法合规、安全地采集、传输、存储和使用。企业通过数据安全管理,规划、开发和执行安全政策与措施,提供适当的身份以确认、授权、访问与审计等功能。

数据安全管理的目标是建立完善的体系化的安全策略措施,全方位进行安全管控,通过多种手段确保数据资产在“存、管、用”等各个环节中的安全,做到“事前可管、事中可控、事后可查”。

数据的安全治理应贯穿于数据的整个生命周期

数据共享管理

数据共享管理主要是指开展数据共享和交换,实现数据内外部价值的一系列活动。

数据内部共享的关键步骤是打通企业内部各部门间的数据共享瓶颈,建立统一规范的数据标准与数据共享制度,数据外部流通和对外开放可以通过数据直接交易与提供数据分析信息的两种方式实现,将数据中符合共享开放层级的信息作为应用商品,以合规安全的形式完成共享交换或开放发布。

数据服务体系

数据服务作为数据中台实现资产服务化的核心能力,是连接前台业务和数据的桥梁,通过服务接口的方式对数据进行封装和开放,快速、灵活地满足上层应用的需求。

数据运营体系

数据运营体系是让数据中台得以健康、持续运转和产生持续价值的体系。数据中台是个复杂工程,数据的汇聚、开发、管理、服务都是要持续进行的工作,如果没有运营体系的保障,可能会导致后期的参与者无从下手,随着时间的推移,数据的质量、服务的效率业务持续下降,进而导致中台无法使用。

产品选择

确定中台架构后,进入产品选择阶段,数据中台主要包括以下产品:

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。