首页 > 编程知识 正文

数据中台的技术实现方案,数据中台实现

时间:2023-05-05 01:43:23 阅读:231164 作者:4263

一、前言

          关于数据中台的概念定义,业内有各种各样的版本,尤其是涉及数据中台与数据仓库、数据平台等相关概念的差异一直争议不断,可谓一百个人眼中,就有一百个数据中台,千百万人眼中,就有千百万个数据中台。关于概念之争论,笔者无意逐一罗列,更无意参与其中,而是希望从工程实践者的视角,提供一种全新的关于数据中台定义的思考逻辑。本章内容围绕数据中台的定义,采用两种方法,三个视角,给大家阐述,在工程实践者的眼中,数据中台的概念定义。

二、正文 2.1 什么是数据中台

数据中台概念的理解,我们可以通过拆解其建设内容和知识结构进行理解,此为归纳法。数据中台是一个系统工程,不仅是一个单纯的产品&技术的问题,同时也涉及到企业战略、组织架构等诸多方面。通过抽象与概况,我们可以把数据中台的建设相关的因素,抽象为人和事两个方面。人的层面是数据中台组织;事的方面则包括:数据应用、工具平台、数据仓库和基础平台四大部分。基于建设内容视角,数据中台的概念定义如下图所示:

2.2 数据中台的演进路线

数据中台的演进路线,我们引入时间维度和数据生命周期维度,来看一下服务于业务的、全局统一的、数据服务体系的发展和演进路线。完整的演进路线如下图所示:

上图中,横轴代表时间,自左到右,代表出现的先后顺序,依次为:数据仓库、数据平台和数据中台;纵轴代表数据的生命周期,依次为:数据内容、数据存储和计算、数据建模、数据服务和数据应用。基于以上二维矩阵的对比分析,我们发现:

数据仓库的重心在于数据建模,对于原始数据内容进行重组和融合,生成基于数据主题的存储和分析模型;数据平台的在数据内容和存储计算能力上进行了拓展,基于分布式存储和分布式计算问题,解决了数据存储和计算的瓶颈,同时引入了非结构化数据和半结构化数据,具备了全量数据存储和全量数据计算的能力;数据中台继承了数据仓库和数据平台全部内容,着重强调了数据服务环节的全局统一性特征。

通过以上时间和数据生命周期两个维度,进行数据仓库、数据平台和数据中台的对比和分析,我们可以得出归纳两个结论:一、时间视角:数据中台是数据仓库、数据平台发展和演进的下一个阶段;二、数据视角:数据仓库、数据平台和数据中台,各自强调了数据生命周期的某些环节,是对过往问题和瓶颈的一次突破和提升,但是其作为面向业务的、全局的、数据服务体系本质没有变化。

三、未完待续

计划写一个完整的关于数据中台的系列文章,此为第二篇,基于工程实践视角阐述数据中台的概念定义和演进路线。下一篇:《数据中台的体系结构》,敬请期待。沟通交流,共同学习,可以加交流群:

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。