首页 > 编程知识 正文

cdp技术,大数据分析处理市场规模

时间:2023-05-03 14:51:33 阅读:53798 作者:3163

你好,我是zzdzm!

1介绍CDP熟悉大数据行业的朋友们都知道,Cloudera与HortonWorks合并后,推出了新一代大数据平台CDP,并逐步停止了现有大数据平台CDH和HDP的维护

下图简要介绍了当前市场上主要CDH和HDP版本的关键时间点

HDP2.x和CDH5.x支持hadoop2.x

HDP3.x和CDH6.x支持hadoop3.x

目前已停止对HDP2.x和CDH5.X的技术支持

对HDP3.x和CDH6.x的官方技术支持也将在过去半年停止

更具体地说,最新版本的HDP 3.1 HDP3. x将于2021/12月停止技术支持

更具体地说,CDH6.x的最新版本CDH6.3将在2022/3月停止技术支持

CDP被认为融合了原来的CDH/HDP。 具体融合方法如下图所示。 重点如下。

淘汰了竞争的技术

融合了重复的技术

保持了互补的技术

我升级了共享的技术

添加了新功能

2 CDP的不同导入形式CDP针对不同场景,推出了两大导入形式:

与公共云场景对应的CDP公共云以PaaS的形式对外提供服务,目前与三大公共云制造商aws、gcp、azure对接

与私有云场景和数据中心场景相对应的CDP专用云包括CDP专用云库和CDP专用云源。 其中前者对应于原始场景中的CDH和HDP,后者的基础软件包使用docker和k8s,经常用作计算群集。

上述两个版本的基础支持同一cloudera runtime,其实质是大数据hdfs/yarn/hive/spark等各个具体组件。

随着各行业数字化转型的推进,目前企业的业务系统中,上云是一大趋势,上云的最终形态是多个公有云和私有云的混合部署形态,即混合云。 在以下背景下,Cloudera也整合了CDP混合云,并以重磅推出。

3 CDP混合云体系结构CDP混合云顺应了企业数字化转型和最终使用混合云的大趋势,以统一的体验整合了公共云和私有云资源。 其最终体系结构如下图所示。

这里有几个要点。

用户使用熟悉的Cloudera Manager,像安装和管理CDH一样,使用熟悉的parcel软件包安装CDP base cluse ter (CDP专用云库)

用户可以根据需要通过熟悉的Cloudera Manager使用docker镜像在公共云或私有云上安装和管理一个或多个ECS或OCP。 (ECS :亚马逊lasticcontainerservice; OCP : redhatopenshiftcontainerplatform (两个都是基于K8S/DOCKER的软件包)

如果CDP BASE CLUSETER主要用作存储集群并且不使用其计算能力,则可以不安装诸如impala/hs2/spark之类的计算引擎

ECS或OCP主要用作计算群集,可以不安装也可以安装多个,如果不使用其存储能力,则可以不安装hdfs/ozone等存储引擎

ECS或OCP可以对应于不同的使用场景来安装多个集群。 例如,与数仓场景对应CDW(clouderadatawarehouse,其基础主要是hs2、impala、hue )、与机器学习对应的CML (clouderamachilelearning ),其基础主要是python

层主要是 spark,airflow)

当然在复杂的场景下,CDP BASE CLUSETER 和 ECS/OCP,也可以是多对多的关系:

4 从 CDP Hybrid Cloud 的架构看大数据的发展趋势

CDP Hybrid Cloud 的架构,具有以下优势和特点:

存储计算分离

计算集群快速搭建和销毁

计算集群弹性扩展和收缩

使用Ozone替代HDFS

集中式用户权限管理

集中式元数据管理

通过CML整合支持机器学习和人工智能

这刚好对应了笔者原来一篇博文里讲到的以下几点大数据发展趋势:

大数据和云计算进一步深度融合,大数据拥抱云计算走向云原生化

大数据更加青睐存储计算分离的架构

大数据更加青睐对象存储

大数据和机器学习/人工智能日益融合

大数据日益重视数据安全

大数据日益重视数据治理

5 其它相关博文

一文看懂Cloudera对CDH/HDP/CDP的产品支持策略

从技术视角看大数据行业的发展趋势

公有云?私有云?混合云?多云?行业云?傻傻分不清楚(下篇)

浅谈传统企业的大数据平台如何上云

2021 最新 Cloudera 大数据平台 CDP 升级指南白皮书完整版开放下载!(中文版)

从历年 Gartner hype cycle 看大数据行业的发展历史和趋势

一文看懂Cloudera对CDH/HDP/CDP的产品支持策略

从技术视角看大数据行业的发展趋势

# 公有云?私有云?混合云?多云?行业云?傻傻分不清楚(下篇)

浅谈传统企业的大数据平台如何上云

从历年 Gartner hype cycle 看大数据行业的发展历史和趋势

2021 最新 Cloudera 大数据平台 CDP 升级指南白皮书完整版开放下载!(中文版)

!关注不迷路~ 各种福利、资源定期分享!欢迎小伙伴们关注公众号!

!欢迎小伙伴们添加zzdzm微信,备注“加群交流”,拉你加入ABC技术交流群!

ITzzdzm

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。