首页 > 编程知识 正文

Alex 的 Hadoop 菜鸟教程: 第6课 Hbase 安装教程

时间:2023-05-04 18:17:21 阅读:28760 作者:264

帖子源地址: http://blog.csdn.net/ns rainbow/article/details/38515007

声明:

本文来自Centos 6.x CDH 5.x官方英语安装教程http://www.cloud era.com/content/cloud era-content/cloud era-docs/CD H5/latest 因为之前提到了HA模式的导入,所以这里不是独立版的安装。 直接说,分布式安装有基本常识。 因为hadoop的配置文件基本上在所有计算机上是相同的,所以如果您需要更改配置文件,基本上可以同步修改所有计算机以了解Hbase是什么。 Hbase是基于谷歌论文的开源实现。它是NoSQL数据库。 这是列数据库。 什么是列式数据库? 在我们的典型数据库中,一行数据存储在一行中,但在hbase中,如果您的行中有五列,则它是五个独立的键值对,可能不在同一台计算机上。 这五个键值对之间的关联是rowkey,他们有共同的rowkey。 除此之外他们之间是否有关联,就像完全属于另一张桌子一样。

Hbase体系结构

HMaster— HBase只有一个主服务器。 hregionserver -负责多个hregion,以便为客户端提供服务。 HBase cluster中存在多个HRegionServer。

安装配置最大文件数centos最大文件数hbase打开很多文件,但centos的默认最大文件数是不够的,因此调整/etc/security/limits.conf文件以获取HDFS-nonf

hdfs的最大文件数也调整hdfs的最大文件数。 编辑/etc/hadoop/conf/hdfs-site.xml以获取以下属性(所有计算机) property named fs.datanode.max.xci evers/name value 4000 添加prr alue 0820:10:31 infohdfs.dfsclient : couldnotobtainblockblk _ xxxxxxxxxxxxxxxxx _ yyyyyyyyyyyyyyyyyyyyyyxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx livenodescontaincurrentblock.willgetnewblocklocationsfromnamenodeandretry .

更改完成后记得重新启动hadoop的服务

要安装hbase,请安装在运行hbase的计算机上。 现在,让我们安装在host1上。 (上一课dtdtn的Hadoop初学者教程:第4课Hadoop安装教程- HA方式(两台机器host1和host2) )。

$ sudo yum install hbase -y

如果没有yum源,请参见dtdtn的Hadoop初学者教程:第2课Hadoop安装教程(CentOS6 CDH分支yum方法)

使用

rpm -ql hbase检查安装路径,并发现它安装在/usr/lib/hbase下

安装hbase-master这里介绍hbase的master和slave的概念。 hbase运行时有master和多个slave。 这里的hbase-master是主机,从命名中也可以看到。 还是选择安装在host1

yum安装h base-master-y

在3host1 host2 计算机上修改/etc/hbase/conf/hbase-site.xml,在configuration和/configuration之间设置以下两个

propertynamehbase.cluster.distributed/namevaluetrue/value/propertypropertynamehbase

.rootdir</name> <value>hdfs://mycluster/hbase</value> </property>
这里的mycluster 是我自己的集群id,具体名称看你在 hdfs-site.xml 里面的 dfs.nameservices 属性配的是什么名字了。

在hdfs上建立 hbase 使用的文件夹

sudo -u hdfs hdfs dfs -mkdir /hbasesudo -u hdfs hdfs dfs -chown hbase /hbase
启动 hbase-master 。 hbase-master 是需要zookeeper的,所以确保你的zookeeper启动了。


安装 RegionServer

官方建议在所有的 datanode 机器上安装 RegionServer 。所以在host1 和  host2 都安装 RegionServer 。

yum install hbase-regionserver -y
安装好后修改两台机器的配置文件 /etc/hbase/conf/hbase-site.xml ,在 <configuration> 和 </configuration> 中增加以下属性

<property> <name>hbase.zookeeper.quorum</name> <value>mymasternode</value> </property>
这里的 mymasternode 要替换成真实的地址。这个东西其实我们在 dtdtn 的 Hadoop 菜鸟教程: 第4课 Hadoop 安装教程 - HA方式 (2台服务器) 中见过,在hdfs的HA配置中有一个属性叫 ha.zookeeper.quorum 配置的是 zookeeper 集群的地址,同理的,这边也是配置了hbase 的 RegionServer 需要的 zookeeper 地址,所以在本例中我们配置成

<property> <name>hbase.zookeeper.quorum</name> <value>host1:2181,host2:2181</value> </property>

启动Hbase 先启动hbase-master 再期待共 hbase-regionserver service hbase-master startservice hbase-regionserver start
注意: 确保两台机器的hbase-site.xml的配置是一样的,别某台机器漏掉了某项配置就麻烦了
安装HBase Thrift Server 这个Thrift 是用来让其他程序跟Hbase连接用的,你可以看做是有了Thrift 之后Hbase才开放了程序调用的API,你才可以用不同的语言来调用hbase。我们选择hbase-master 所在的 host1进行安装 yum install hbase-thrift -y
启动服务 service hbase-thrift start
服务的启动顺序 官方说服务的启动顺序是这样的 zookeeperhbase-master各个regionserver
检验 web界面 服务都启动完毕后,访问 http://host1:60010/ 会看到这样的界面

shell命令行工具 在 hbase-master 那台机子上进入 hbase shell 并运行  list 查询所有表试试看 $ hbase shell......hbase(main):001:0> listTABLE 0 row(s) in 15.1010 seconds=> []
如果没有报任何异常,输出像这样,那么恭喜你成功了!
如果出现任何异常就去 /var/log/hbase/ 下面看日志,这些日志对你解决问题的帮助非常大,可以说是唯一的线索!

参考资料 http://www.uml.org.cn/sjjm/201212141.asp 


版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。