首页 > 编程知识 正文

hadoop大数据系统架构(浅谈大数据hadoop技术的论文)

时间:2023-05-06 08:01:15 阅读:97912 作者:1462

Hadoop是一个可以分发大量数据的软件框架。Hadoop以可靠、高效和可扩展的方式处理数据。除了Apache hadoop,cloudera、hortonworks、mapR、华为、DKhadoop等。都提供自己的商业版本。商业分销主要是提供更专业的技术支持,对于大企业来说更为重要。不同的发行版本各有特点。本文对各发行版本进行了简要的比较和介绍。

比较版本选择:

DKhadoop分发、cloudera分发、hortonworks分发、MAPR分发、华为hadoop分发

1.DKhadoop分发:

它有效地集成了整个HADOOP生态系统的所有组件,深度优化并重新编译为一个完整的、性能更高的大数据通用计算平台,实现了所有组件的有机协同。因此,与开源大数据平台相比,DKH在计算性能上有5倍(最大)的性能提升。DKhadoop将复杂大数据集群的配置简化为三个节点(主节点、管理节点和计算节点),大大简化了集群的管理和运行,增强了集群的高可用性、高可维护性和高稳定性。

2.Cloudera发行版:

CDH是Cloudera的hadoop发行版,完全开源。与Apache hadoop相比,CDH更兼容、更安全、更稳定。

3.Hortonworks发行版:

Hortonworks的旗舰产品是Hortonworks数据平台(HDP),这也是一款100%开源的产品。其版本特点:HDP囊括了Apache Hadoop稳定版的所有关键组件;易于安装,HDP包括一个现代和直观的用户界面安装和配置工具。

4.MAPR分布:

MapR有两个版本:免费版和商业版。免费版减少了它的功能。

5.华为hadoop发行版:

华为的hadoop版本基于自研的hadoop HA平台,构建了NameNode、JobTracker、HiveServer的HA功能。该过程失败后,系统会自动进行故障切换,无需手动干预。这也是对Hadoop的一个小修复,远没有mapR解决的那么彻底。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。