你好,我是zzdzm!
1介绍CDP熟悉大数据行业的朋友们都知道,Cloudera与HortonWorks合并后,推出了新一代大数据平台CDP,并逐步停止了现有大数据平台CDH和HDP的维护
下图简要介绍了当前市场上主要CDH和HDP版本的关键时间点
HDP2.x和CDH5.x支持hadoop2.x
HDP3.x和CDH6.x支持hadoop3.x
目前已停止对HDP2.x和CDH5.X的技术支持
对HDP3.x和CDH6.x的官方技术支持也将在过去半年停止
更具体地说,最新版本的HDP 3.1 HDP3. x将于2021/12月停止技术支持
更具体地说,CDH6.x的最新版本CDH6.3将在2022/3月停止技术支持
CDP被认为融合了原来的CDH/HDP。 具体融合方法如下图所示。 重点如下。
淘汰了竞争的技术
融合了重复的技术
保持了互补的技术
我升级了共享的技术
添加了新功能
2 CDP的不同导入形式CDP针对不同场景,推出了两大导入形式:
与公共云场景对应的CDP公共云以PaaS的形式对外提供服务,目前与三大公共云制造商aws、gcp、azure对接
与私有云场景和数据中心场景相对应的CDP专用云包括CDP专用云库和CDP专用云源。 其中前者对应于原始场景中的CDH和HDP,后者的基础软件包使用docker和k8s,经常用作计算群集。
上述两个版本的基础支持同一cloudera runtime,其实质是大数据hdfs/yarn/hive/spark等各个具体组件。
随着各行业数字化转型的推进,目前企业的业务系统中,上云是一大趋势,上云的最终形态是多个公有云和私有云的混合部署形态,即混合云。 在以下背景下,Cloudera也整合了CDP混合云,并以重磅推出。
3 CDP混合云体系结构CDP混合云顺应了企业数字化转型和最终使用混合云的大趋势,以统一的体验整合了公共云和私有云资源。 其最终体系结构如下图所示。
这里有几个要点。
用户使用熟悉的Cloudera Manager,像安装和管理CDH一样,使用熟悉的parcel软件包安装CDP base cluse ter (CDP专用云库)
用户可以根据需要通过熟悉的Cloudera Manager使用docker镜像在公共云或私有云上安装和管理一个或多个ECS或OCP。 (ECS :亚马逊lasticcontainerservice; OCP : redhatopenshiftcontainerplatform (两个都是基于K8S/DOCKER的软件包)
如果CDP BASE CLUSETER主要用作存储集群并且不使用其计算能力,则可以不安装诸如impala/hs2/spark之类的计算引擎
ECS或OCP主要用作计算群集,可以不安装也可以安装多个,如果不使用其存储能力,则可以不安装hdfs/ozone等存储引擎
ECS或OCP可以对应于不同的使用场景来安装多个集群。 例如,与数仓场景对应CDW(clouderadatawarehouse,其基础主要是hs2、impala、hue )、与机器学习对应的CML (clouderamachilelearning ),其基础主要是python
层主要是 spark,airflow)当然在复杂的场景下,CDP BASE CLUSETER 和 ECS/OCP,也可以是多对多的关系:
4 从 CDP Hybrid Cloud 的架构看大数据的发展趋势CDP Hybrid Cloud 的架构,具有以下优势和特点:
存储计算分离
计算集群快速搭建和销毁
计算集群弹性扩展和收缩
使用Ozone替代HDFS
集中式用户权限管理
集中式元数据管理
通过CML整合支持机器学习和人工智能
这刚好对应了笔者原来一篇博文里讲到的以下几点大数据发展趋势:
大数据和云计算进一步深度融合,大数据拥抱云计算走向云原生化
大数据更加青睐存储计算分离的架构
大数据更加青睐对象存储
大数据和机器学习/人工智能日益融合
大数据日益重视数据安全
大数据日益重视数据治理
5 其它相关博文一文看懂Cloudera对CDH/HDP/CDP的产品支持策略
从技术视角看大数据行业的发展趋势
公有云?私有云?混合云?多云?行业云?傻傻分不清楚(下篇)
浅谈传统企业的大数据平台如何上云
2021 最新 Cloudera 大数据平台 CDP 升级指南白皮书完整版开放下载!(中文版)
从历年 Gartner hype cycle 看大数据行业的发展历史和趋势
一文看懂Cloudera对CDH/HDP/CDP的产品支持策略
从技术视角看大数据行业的发展趋势
# 公有云?私有云?混合云?多云?行业云?傻傻分不清楚(下篇)
浅谈传统企业的大数据平台如何上云
从历年 Gartner hype cycle 看大数据行业的发展历史和趋势
2021 最新 Cloudera 大数据平台 CDP 升级指南白皮书完整版开放下载!(中文版)
!关注不迷路~ 各种福利、资源定期分享!欢迎小伙伴们关注公众号!
!欢迎小伙伴们添加zzdzm微信,备注“加群交流”,拉你加入ABC技术交流群!
ITzzdzm