首页 > 编程知识 正文

cdhhadoop安装教程,hadoop下载安装

时间:2023-05-04 01:12:03 阅读:153780 作者:1110

一.引言

首先,本文的安装教程是根据个人的操作经验编写的。 可能有同学在安装时觉得和他不一样,这可能是因为版本不一样。 此外,此次共享还基于安装了java并配置了环境。

本机的构成环境如下。

Hadoop(3.1.1) )。

Ubuntu Linux(64位系统)

二.安装ssh服务

默认情况下,ubuntu没有安装ssh服务器,只有ssh客户端。 可以使用以下命令安装:

sdoapt-getinstallsshopenssh-server

默认root用户无法通过ssh连接到ubuntu。 修改配置文件

vim /etc/ssh/sshd_config

这样配置权限

三.安装Hadoop

1.下载Hadoop安装包

3http://Apache.stu.edu.tw/Hadoop/common/Hadoop-3.1.1 /

2.解压

将压缩包传递到/usr/local/目录

使用以下命令解压缩Hadoop安装软件包:

tar -zxvf hadoop-3.1.1.tar.gz

解压缩完成后,Hadoop-3.1.1的文件如下:

3.配置Hadoop中相应的文件

因为我使用的是Hadoop的伪方差,所以要配置的文件如下。 hadoop-env.sh、core-site.xml、mapred-site.xml.template和hdfs-site.xml。 所有文件都位于Hadoop上

具体需要的构成如下。

)1) core-site.xml的结构如下: 目录文件不需要自己创建,而是自动生成。

configurationpropertynamehadoop.tmp.dir/namevaluefile 3360/home/root/Hadoop/tmp/valuedescriptionabaseforothertttttt propertypropertynamefs.default fs/namevaluehdfs ://localhost :9000/value/property/configuration

)2) mapred-site.xml.template的配置如下:

将mapred-site.xml.template复制cpmapred-site.XML.templatemapred-site.XML进行设置

名为mapred-site.xml的文件的内容

configurationpropertynamemapred.job.tracker/namevaluelocalhost :9001/value/property/configuration

)3) hdfs-site.xml的配置如下:

configurationpropertynamedfs.replication/name value1/value/propertynamedfs.NameNode.name.dir/namevaluefef propertypropertynamedfs.datanode.data.dir/namevaluefile 3360/home/root/Hadoop/tmp/DFS /

浏览你的jdk安装目录

echo $JAVA_HOME

export Java _ home='/usr/local/JDK8'

四.执行Hadoop

1 .首先需要初始化HDFS系统

在hadop3.1.1目录中使用以下命令:

风中之舞/hdfs namenode -format

成功后的截图如下。

表示初始化已完成。

打开NameNode和DataNode守护进程

在hadop3.1.1目录中使用以下命令:

s风之舞/start-dfs.sh

成功后的截图如下。

3 .显示进程信息

在hadop3.1.1目录中使用以下命令:

jps

成功后的截图如下。

浏览网络用户界面

可以通过在浏览器中输入http://localhost:50070来查看相关信息。 但是,一些同学可能有无法访问50070端口的问题。 可以在终端上使用

netstat -ntlp验证服务器启动的端口。

要稍后关闭并启动hadoop,只需运行s风格的舞蹈/start-all.sh即可启动hadoop

s风之舞/start-all.sh

然后一个一个地试了一下,我最终找到的HDFS nameNode的登录端口是9870

成功后的截图如下。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。