在开始阅读之前让我们喊出口号:“要想人前显贵,就要人后受罪!”加油嘎嘣儿,加油所有想获得美好未来的你!
一、组成部分
1. Client客户端
2. NameNode主节点
3. SecondaryNameNode 理解为:(NameNode 的备份,属于冷备份)
二、各部分的作用
Client
Client:发布命令,集群操作,监听(获取集群的运行状态),分块(逻辑分块:之规定的最大没有规定最小即使有两个不满64M(Hadoop2.0是128M)也不可以进行合并)。
NameNode
NameNode:管理集群,接收DateNode的心跳并通过心跳给DateNode发送指令,以及获取bolck的元数据的信息和确认DateNode是否宕机。
SecondaryNameNode:没半个小时以Httpget方式获取NameNode的fsimage+edits,然后将fsimage和edits进行本地合并生成fsimage_ckpt,然后将fsimage_ckpt发送到NameNode中,替换原先的fsimage,当然在Httpget形式远程拉取复制文件的同时在NameNode里会先生成一个edits_new文件,目的是为了防止在合并的半小时内的数据丢失。
DateNode
DateNode:用来存储数据block 文件,注意:同一个机器不应存储同一个block块副本,一个机架也不应该存储相同的副本。
三、相关知识点