Hadoop系列文章索引:
Hadoop入门指南的HDFS介绍
Hadoop入门指南的Linux环境构建
Hadoop入门指南的Linux软件安装
Hadoop入门指南的Hadoop安装
在Hadoop入门指南的hdfs命令行中使用。
Hadoop入门指南的MapReduce介绍
Hadoop入门指南统计库存实战
Hadoop入门指南分区,章程实战
Hadoop入门指南排序实战
Hadoop入门指南的小组实战
Hadoop入门指南的表格连接操作
Hadoop入门指南中的yarn介绍
在前面两篇文章之后构建Linux群集和所需的软件后,开始安装hadoop。
虽然以下没有特别说明,但都是指在node01的虚拟机上操作。
hadoop这里使用的是hadoop-2.7.5的版本。 网络下载的东西需要处理才能支持bzip和snappy算法。 我把处理好的安装包上传到了网盘上。
链接: https://pan.Baidu.com/s/1 ulwe3rz k2 xbnz5hqdf _ k5g
抽屉代码: 3h8x
下载后,用cd /export/softwares,然后用rz -E上传hadoop-2.7.5.tar.gz。 如果没有rz命令,你可以看到我前面的文章。 Hadoop入门指南的Linux软件安装
tar-zxvf Hadoop-2.7.5.tar.gz-c ./servers /
这里需要大幅更改hadoop的配置文件。 本节介绍如何使用notepad远程修改虚拟机文件。
首先在网盘上下载Notepad .7.7.1.x64,解压缩后打开exe。
单击“插件”-“插件管理”以搜索nppFTP
勾选后安装,成功后重新启动软件。
插件- NPP FTP-show单击NPP FTP window。
在打开的窗口中找到齿轮图标。
单击它,然后选择Profile Settings,单击Add New,然后输入以下信息
如果你的用户名和密码和我一样,就没有必要更改。
使用相同的方法添加192.168.174.110和192.168.174.120配置文件。
设定完成后,点击Close。
单击该列中的第一个图标。
选择node01,连接成功后,可以看到node01虚拟机的文件目录。 双击其中一个文档可以进行编辑。 编辑结束后请不要忘记保存Ctrl S。 由于配置文件包含中文注释,因此可以在打开文档后,首先单击“编码”并选择使用UTF-8编码。
在https://download.csdn上
.net/download/shenjuntao520/16052085中,有安装hadoop的配置文件,下载下来备用。找到/export/servers/hadoop-2.7.5/etc/hadoop目录,分别修改core-site.xml、hdfs-site.xml、yarn-site.xml,要添加的内容都在刚才下载的文件夹中,对应修改就好了。
修改mapred-site.xml,这里目录里只有mapred-site.xml.template,对该文件重命名,删掉后面的.template后缀,然后修改。
分别修改hadoop-env.sh和mapred-env.sh,把JAVA_HOME的值改为/export/servers/jdk1.7.0_75
修改slaves,内容改成
node01
node02
node03
创建文件夹,分别运行以下指令
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/nn/edits
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/snn/name
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits
分发到node02、node03中
scp -r /export/servers/hadoop-2.7.5/ root@node02:/export/servers/
scp -r /export/servers/hadoop-2.7.5/ root@node03:/export/servers/
对三台机器配置环境变量
vim /etc/profile修改文件,末尾加入
export HADOOP_HOME=/export/servers/hadoop-2.7.5
export PATH=:$HADOOP_HOME/wldwn:$HADOOP_HOME/swldwn:$PATH
保存并退出,然后source /etc/profile 来生效。
最后在node01启动hadoop
cd /export/servers/hadoop-2.7.5wldwn/hdfs namenode -format # 注意:这一步是对namenode的格式化,创建一些文件与目录,只需要创建一次即可,如果再次使用则会导致数据丢失swldwn/start-dfs.sh# 启动hdfsswldwn/start-yarn.sh# 启动yarnswldwn/mr-jobhistory-daemon.sh start historyserver可以在swldwn下新建两个sh脚本。
my-start.sh
start-dfs.shstart-yarn.shmr-jobhistory-daemon.sh start historyservermy-stop.sh
stop-dfs.shstop-yarn.shmr-jobhistory-daemon.sh stop historyserverchmod 777 my-*.sh,之后直接使用这两个脚本进行开启和关闭hadoop就行了。
启动完成后应该看到如下输出
在三台机器上分别输入jps命令,应该看到如下输出
代表启动成功。
在WIndows新增hosts映射:
Windows系统内按下Cmd+R调出运行窗口,输入drivers,按回车以打开drivers目录,双击etc文件夹可以看到hosts文件,编辑它,这里建议使用notepad++编辑,因为普通记事本编辑完不能保存。
在hosts末尾加入
192.168.174.100 node01
192.168.174.110 node02
192.168.174.120 node03
保存退出。
现在可以打开浏览器查看Hadoop的图形化管理界面:
http://node01:50070/explorer.html#/ 查看hdfs集群
http://node01:8080/cluster 查看yarn集群
http://node01:19888/jobhistory
至此,Hadoop安装完毕。
感谢观看,如果您觉得文章写得还不错,不妨点个赞。如果您觉得有什么疑惑或者不对的地方,可以留下评论,看到我会及时回复的。如果您关注一下我,那么我会更高兴的,谢谢!