首页 > 编程知识 正文

hadoop的安装,centos安装hadoop

时间:2023-05-04 09:19:22 阅读:153759 作者:1073

Hadoop系列文章索引:

Hadoop入门指南的HDFS介绍

Hadoop入门指南的Linux环境构建

Hadoop入门指南的Linux软件安装

Hadoop入门指南的Hadoop安装

在Hadoop入门指南的hdfs命令行中使用。

Hadoop入门指南的MapReduce介绍

Hadoop入门指南统计库存实战

Hadoop入门指南分区,章程实战

Hadoop入门指南排序实战

Hadoop入门指南的小组实战

Hadoop入门指南的表格连接操作

Hadoop入门指南中的yarn介绍

在前面两篇文章之后构建Linux群集和所需的软件后,开始安装hadoop。

虽然以下没有特别说明,但都是指在node01的虚拟机上操作。

hadoop这里使用的是hadoop-2.7.5的版本。 网络下载的东西需要处理才能支持bzip和snappy算法。 我把处理好的安装包上传到了网盘上。

链接: https://pan.Baidu.com/s/1 ulwe3rz k2 xbnz5hqdf _ k5g

抽屉代码: 3h8x

下载后,用cd /export/softwares,然后用rz -E上传hadoop-2.7.5.tar.gz。 如果没有rz命令,你可以看到我前面的文章。 Hadoop入门指南的Linux软件安装

tar-zxvf Hadoop-2.7.5.tar.gz-c ./servers /

这里需要大幅更改hadoop的配置文件。 本节介绍如何使用notepad远程修改虚拟机文件。

首先在网盘上下载Notepad .7.7.1.x64,解压缩后打开exe。

单击“插件”-“插件管理”以搜索nppFTP

勾选后安装,成功后重新启动软件。

插件- NPP FTP-show单击NPP FTP window。

在打开的窗口中找到齿轮图标。

单击它,然后选择Profile Settings,单击Add New,然后输入以下信息

如果你的用户名和密码和我一样,就没有必要更改。

使用相同的方法添加192.168.174.110和192.168.174.120配置文件。

设定完成后,点击Close。

单击该列中的第一个图标。

选择node01,连接成功后,可以看到node01虚拟机的文件目录。 双击其中一个文档可以进行编辑。 编辑结束后请不要忘记保存Ctrl S。 由于配置文件包含中文注释,因此可以在打开文档后,首先单击“编码”并选择使用UTF-8编码。

在https://download.csdn上

.net/download/shenjuntao520/16052085中,有安装hadoop的配置文件,下载下来备用。

找到/export/servers/hadoop-2.7.5/etc/hadoop目录,分别修改core-site.xml、hdfs-site.xml、yarn-site.xml,要添加的内容都在刚才下载的文件夹中,对应修改就好了。

修改mapred-site.xml,这里目录里只有mapred-site.xml.template,对该文件重命名,删掉后面的.template后缀,然后修改。

分别修改hadoop-env.sh和mapred-env.sh,把JAVA_HOME的值改为/export/servers/jdk1.7.0_75

修改slaves,内容改成

node01

node02

node03

创建文件夹,分别运行以下指令

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/tempDatas

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/nn/edits

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/snn/name

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits

分发到node02、node03中

scp -r /export/servers/hadoop-2.7.5/ root@node02:/export/servers/

scp -r /export/servers/hadoop-2.7.5/ root@node03:/export/servers/

对三台机器配置环境变量

vim /etc/profile修改文件,末尾加入

export HADOOP_HOME=/export/servers/hadoop-2.7.5

export PATH=:$HADOOP_HOME/wldwn:$HADOOP_HOME/swldwn:$PATH

保存并退出,然后source /etc/profile 来生效。

最后在node01启动hadoop

cd /export/servers/hadoop-2.7.5wldwn/hdfs namenode -format # 注意:这一步是对namenode的格式化,创建一些文件与目录,只需要创建一次即可,如果再次使用则会导致数据丢失swldwn/start-dfs.sh# 启动hdfsswldwn/start-yarn.sh# 启动yarnswldwn/mr-jobhistory-daemon.sh start historyserver

可以在swldwn下新建两个sh脚本。

my-start.sh

start-dfs.shstart-yarn.shmr-jobhistory-daemon.sh start historyserver

my-stop.sh

stop-dfs.shstop-yarn.shmr-jobhistory-daemon.sh stop historyserver

chmod 777 my-*.sh,之后直接使用这两个脚本进行开启和关闭hadoop就行了。

启动完成后应该看到如下输出

在三台机器上分别输入jps命令,应该看到如下输出

代表启动成功。

在WIndows新增hosts映射:

Windows系统内按下Cmd+R调出运行窗口,输入drivers,按回车以打开drivers目录,双击etc文件夹可以看到hosts文件,编辑它,这里建议使用notepad++编辑,因为普通记事本编辑完不能保存。

在hosts末尾加入

192.168.174.100 node01

192.168.174.110 node02

192.168.174.120 node03

保存退出。

现在可以打开浏览器查看Hadoop的图形化管理界面:

http://node01:50070/explorer.html#/ 查看hdfs集群

http://node01:8080/cluster 查看yarn集群

http://node01:19888/jobhistory

至此,Hadoop安装完毕。

感谢观看,如果您觉得文章写得还不错,不妨点个赞。如果您觉得有什么疑惑或者不对的地方,可以留下评论,看到我会及时回复的。如果您关注一下我,那么我会更高兴的,谢谢!

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。