首页 > 编程知识 正文

CDH安装hadoop有限制,hadoop如何安装

时间:2023-05-04 16:49:55 阅读:153798 作者:121

【确保服务器集群安装和配置已经完成!】首先,请根据读者情况随机应变。

我的三台CentOS7服务器:

主机:主节点(192.168.56.110 ) )。

从: slave0(192.168.56.111 ) )。

从: slave1(192.168.56.112 ) )。

每个节点的安装和配置都是相同的,在实际工作中,通常在主节点上安装和配置完成后,只需将安装目录复制到其他节点即可,无需一次配置所有节点,效率低下。

注:所有操作都是root用户权限

下载Hadoop安装包Hadoop官方网站: http://hadoop.apache.org/

我这里使用的Hadoop版本下载地址: http://archive.Apache.org/dist/Hadoop/core/Hadoop-2.7.5 /

解压缩Hadoop安装软件包(仅在master上执行)确保配置了network网络,使用Xftp等类似工具上传,并将hadoop-2.7.5.tar.gz设置为/

上载完成后,在主主机上执行以下代码:

当cd /opt/hadoop进入/opt/hadoop目录时,运行解压缩命令。

tar -zxvf hadoop-2.7.5.tar.gz回车后,系统开始解冻,屏幕不断滚动解冻过程,运行成功后,系统进入hadoop目录hadoop-2.7.5

然后,将文件夹重命名为" hadoop ",即hadoop安装目录,并运行重命名文件夹命令。

mv hadoop-2.7.5 hadoop注意:请检查Xftp中是否也存在相应的目录,并确保正确完成。

进入安装目录,看看安装文件。 如果显示如图所示的文件列表,则表示压缩成功

设置env文件(仅在主节点上执行)首先查看以下命令(并记住它们) : 之后的操作会被大量使用。 省略说明)。

a .进入编辑状态: insert

b .删除: delete

c .退出编辑状态: ctrl [

d .进入保存状态: ctrl ]

e .保存并退出:注意先输入“:wq”英语冒号

f .退出而不保存: ' :q!' 同上

恐怕执行顺序: ABCDE

配置jdk文件

执行命令:

VI/opt/Hadoop/Hadoop/etc/Hadoop/Hadoop-env.sh找到了" export JAVA_HOME "行以设置jdk路径

修改: export Java _ home=/usr/local/Java/JDK1.8.0_ 162 /

构成核心组件文件(仅限master ) Hadoop的核心组件文件为core-site.xml,位于/opt/hadoop/hadoop/etc/hadoop子目录下要在vi中编辑core-site.xml文件,必须编辑以下配置代码

运行命令以编辑core-site.xml文件。

VI/opt/Hadoop/Hadoop/etc/Hadoop/core-site.XML需要在configuration和/configuration之间添加的代码。

property name fs.default fs/namevaluehdfs ://master :9000/value/propertypropertynamehadoop.tmp.dir/name value valeh

构成文件系统(仅限master ) Hadoop的文件系统配置文件为hdfs-site.xml,位于/opt/hadoop/hadoop/etc/hadoop子目录下。 要在vi中编辑此文件,必须放置该文件的configuration和以下代码

运行编辑hdfs-site.xml文件的命令。

VI/opt/Hadoop/Hadoop/etc/Hadoop/HDFS-site.XML需要在configuration和/configuration之间添加的代码。

编辑完property named fs.replication/name value1/value/property后,请退出保存。

yarn-site.xml文件(

只在master做)

Yarn的站点配置文件是yarn-site.xml,位于/opt/hadoop/hadoop/etc/hadoop子目录下,依然用vi编辑该文件,将以下代码放在文件的<configuration>和</configuration>之间。

执行编辑yarn-site.xml文件的命令:

vi /opt/hadoop/hadoop/etc/hadoop/yarn-site.xml

需要在<configuration>和</configuration>之间加入的代码:

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.address</name><value>master:18040</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>master:18030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:18025</value></property><property><name>yarn.resourcemanager.admin.address</name><value>master:18141</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>master:18088</value></property> 配置MapReduce计算框架文件(只在master做)

在/opt/hadoop/hadoop/etc/hadoop子目录下,系统已经有一个mapred-site.xml.template文件,我们需要将其复制并改名,位置不变。

执行复制和改名操作命令:

cp /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml

然后用vi编辑mapred-site.xml文件,需要将下面的代码填充到文件的<configuration>和</configuration>之间。

执行命令:

vi /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml

需要在<configuration>和</configuration>之间加入的代码:

<property><name>mapreduce.framework.name</name><value>yarn</value></property>

编辑完毕,保存退出即可!

配置master的slaves文件(只在master做)

slaves文件给出了Hadoop集群的slave节点列表,该文件十分的重要,因为启动Hadoop的时候,系统总是根据当前slaves文件中的slave节点名称列表启动集群,不在列表中的slave节点便不会被视为计算节点。

执行编辑slaves文件命令:

vi /opt/hadoop/hadoop/etc/hadoop/slaves

注意:用vi编辑slaves文件,应该根据读者您自己所搭建集群的实际情况进行编辑。
例如:我这里已经安装了slave0和slave1,并且计划将它们全部投入Hadoop集群运行。

所以应当加入以下代码:

slave0slave1

注意:删除slaves文件中原来localhost那一行!

复制master上的Hadoop到slave节点(只在master做)

通过复制master节点上的hadoop,能够大大提高系统部署效率,假设我们有200台需要配置…笔者岂不白头

由于我这里有slave0和slave1,所以复制两次。

复制命令:

scp -r /opt/hadoop root@slave0:/optscp -r /opt/hadoop root@slave1:/opt Hadoop集群的启动-配置操作系统环境变量(三个节点都做)

回到用户目录命令:

cd /opt/hadoop

然后用vi编辑.bash_profile文件,命令:

vi ~/.bash_profile

最后把以下代码追加到文件的尾部:

#HADOOPexport HADOOP_HOME=/opt/hadoop/hadoopexport PATH=$HADOOP_HOME/自信的电脑:$HADOOP_HOME/s自信的电脑:$PATH

保存退出后,执行命令:

source ~/.bash_profile

source ~/.bash_profile命令是使上述配置生效

提示:在slave0和slave1使用上述相同的配置方法,进行三个节点全部配置。

创建Hadoop数据目录(只在master做)

创建数据目录,命令是:

mkdir /opt/hadoop/hadoopdata

通过Xftp可查看该hadoopdata

格式化文件系统(只在master做)

执行格式化文件系统命令:

hadoop namenode -format 启动和关闭Hadoop集群(只在master做)

首先进入安装主目录,命令是:

cd /opt/hadoop/hadoop/s自信的电脑

提示:目前文件位置可在Xshell顶部栏观察

然后启动,命令是:

start-all.sh

执行命令后,系统提示 ” Are you sure want to continue connecting(yes/no)”,输入yes,之后系统即可启动。
注意:可能会有些慢,千万不要以为卡掉了,然后强制关机,这是错误的。

如果要关闭Hadoop集群,可以使用命令:

stop-all.sh

下次启动Hadoop时,无须NameNode的初始化,只需要使用start-dfs.sh命令即可,然后接着使用start-yarn.sh启动Yarn。

实际上,Hadoop建议放弃(deprecated)使用start-all.sh和stop-all.sh一类的命令,而改用start-dfs.sh和start-yarn.sh命令。

验证Hadoop集群是否启动成功

读者您可以在终端执行jps命令查看Hadoop是否启动成功。

在master节点,执行:

jps

如果显示:SecondaryNameNode、 ResourceManager、 Jps 和NameNode这四个进程,则表明主节点master启动成功

然后分别在slave0和slave1节点下执行命令:

jps

如果成功显示:NodeManager、Jps 和 DataNode,这三个进程,则表明从节点(slave0和slave1)启动成功

写在后面

如果觉得本文帮助了你,还请高抬贵手赠予 uh5 项目 一个 Star。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。