首页 > 编程知识 正文

简述hadoop的发行版本,hadoop有哪些版本

时间:2023-05-06 10:57:35 阅读:56594 作者:4870

介绍hadoop不同版本的差异

硬件1.0

hadoop1.0是最早的版本,只是谷歌发表的三篇论文发生了变化。 因此,hadoop1.0在开发过程中存在很多缺陷,hadoop1.0主要由HDFS (分布式系统)和分布式计算框架(MapReduce )组成。

对于HDFS,hadoop1.0经常使用主从体系结构。 其中,主节点是namenode节点,从节点是datanode节点。 HDFS的介绍请参照以下内容。

在hadoop1.0中,只有一个NameNode节点,辅助名称可以备份主节点的数据,但存在延迟,如果主节点停机,则某些数据仍然是辅助名称因为NameNode存储元数据信息,如DataNode节点。

对于MapReduce,hadoop1.0也是一个简单的主从结构,由主作业跟踪器和多个从任务跟踪器组成。 此外,在hadoop1.0中,作业跟踪器的负载很高。

1.1 )接收客户端的计算任务,同时将任务分发给TaskTracker执行

1.2 )用心跳机制管理TaskTracker节点的动作。

硬件2.0

针对hadoop1.0的HDFS、MapReduce的高可用性、可扩展性等问题,hadoop进行了相应的改进。

2.1、从HDFS改善:

HAdoop2.0添加了HDFS HA机制,解决了hdfs1.0单点故障问题,并通过ha对standbynamenode进行热备份。

hadoop2.0添加了HDFS Federation (联邦)水平扩展,支持多个namenode并行运行,每个namenode可以管理一个目录并共享所有datanode存储资源,从而达到1.0

hadoop2.0对HDFS架构进行了一些更改,但使用方式不变,在1.0中相关命令和APIttdss仍然可用。

2.2、从MapReduce开始改善:

在hadoop2.0中添加YARN框架,针对hadoop1.0中主JobTracker压力过大的不足,划分JobTracker的资源分配和作业控制,利用资源管理器在namenode中进行资源管理MapReduce2.0只是一个计算框架,因为节点管理器将代替利用ApplicationMaster进行任务管理和作业控制的TaskTracker执行特定任务。 在Yarn框架中管理对hadoop1.0相关资源的所有调用。

硬盘3.0

hadoop2.0及更高版本相对稳定,大多数生产环境使用2.0。 虽然我们还基于2.0介绍了本教程,但hadoop3.0主要添加了性能优化和支持。

3.1、java运行时环境升级到1.8,不支持早期版本的java。

3.2、HDFS3.0支持数据擦除代码,提高存储空间利用率。

3.3、一些默认端口的更改。

3.4、添加MapReduce的调谐。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。