首页 > 编程知识 正文

CDH集群中HDFS单点故障解决方案:HA模式(High Availability)

时间:2023-05-06 08:18:25 阅读:182339 作者:1401

CDH集群开发HDFS高可用性模式Step1什么是单点故障? step 2为什么HDFS会出现单点故障? 是怎么解决的? step 3启用HDFS的“高可用性”模式

Step1什么是单点故障?

单点故障(single point of failure,简称SPOF )是指在系统中发生故障时,整个系统将无法正常工作的部件,即单点故障是整体故障。

图中的路由器就是一个SPOF,若该路由器失效,这些电脑之间的通信就无法运作

step 2为什么HDFS会出现单点故障? 是怎么解决的? 如果您观察HDFS的体系结构,就会发现它只有一个NameNode节点。 这意味着,如果禁用NameNode节点,整个系统将无法正常工作。 如果单点故障和精简资源调配两者不可兼得,他们选择了精简资源调配。

原话是这样的:

theexistenceofasinglenamenodeinaclustergreatlysimplifiesthearchitectureofthesystem.thenamenodeisthearbitratorandrepositoryfory sdesignedinsuchawaythatuserdataneverflowsthroughthenamenode。

NameNode服务负责操作HDFS文件系统Namespace。 这包括打开、关闭和重命名文件和目录。 它是HDFS元数据(Metadata )的管理中心和存储库,包含所有文件系统更改的记录。 NameNode不负责存储元数据,只记录元数据的存储位置。 这是设计师选择单点NameNode的原因吧。

step3HDFS高可用性模式在CDH群集中启用HDFS高可用性模式,启用后禁用次要名称

选择zk节点的服务器将托管journalnode(zookeeper中至少有三个节点)

建议将JournalNode目录放在/dfs目录下。 /dfs/nn

*注意:在这种情况下,必须删除并执行NameNode所在节点上的/dfs/nn文件。 rm -rf /dfs/nn; 发生异常

启动过程中发生了异常

/tmp目录创建失败。 请在hdfs文件系统中手动创建/tmp目录。 切换到hdfs用户:

su hdfs,执行创建操作: hadoop dfs -mkdir /tmp

注:此例外不影响HA型号的部署。 完成HA模式的启动过程后,如果手动创建/tmp目录,将成功启用HA模式,并且必须更新Hive Metastore NameNode

如果没有此步骤,则进入hive控制台将导致failed : semanticexceptionunabletodetermineifhdfs ://Hadoop 733608020/test/test _ tablest _ tabled

此处已更新,无法再单击:

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。