首页 > 编程知识 正文

[ 安装 ] Hadoop安装步骤!

时间:2023-05-05 20:50:23 阅读:153802 作者:785

Hadoop安装步骤1、准备任务2、具体步骤(1)解压缩)2)更改权限)3) Hadoop配置Hadoop-env.sh core-site.xmlhdfs-site.XML )4) yarn配置1

前言:根据客户的实际情况修改并配置以下IP地址、文件路径、主机名等。

3358 www.Sina.com/http://www.Sina.com/http://www.Sina.com/http://www.Sina.com /

一.准备工作

安装一个虚拟机(虚拟机CentOS 7安装说明) )。

安装JDK环境(JDK安装过程)

启动虚拟机并连接到Xshell、Xftp (连接方法)

在虚拟机中的Hadoop260下载链接文件夹下,找到用于存储安装软件包和软件的两个文件夹:提取码:byfaHadoop-native下载链接

建议在提取码:dgct目录下创建名为opt的子目录,以存储3358www.Sina.com/生态圈相关软件

必须将downloadsoftware文件上载到software目录中。 或者,可以在shell窗口中输入命令" yum install lrzsz ",并在加载完成后直接将Windows下的文件拖动到shell窗口中

提示:hadoop根据需要安装

二、具体步骤(一)解压1 .输入命令: tar-zxvf Hadoop-2.6.0-CDH 5.14.2.tar.gz-c/opt/software/Hadoop /,目的文件

2 .解压缩完成后,在hadoophadoop-2.6.0-cdh5.14.2.tar.gz目录下,输入命令: mv Hadoop-2.6.0-CDH5. 14.2/hadooop

hadoop-native-64-2.6.0.tar命令:输入cd hadoop260/lib/native/,进入解压后的hadoop260文件夹下的native目录,输入命令: ls,也不存在任何文件输入download/Hadoop-native-64-2.6.0.tar,将download中的相应文件解压到此目录,然后输入命令: ls,将会发现许多文件。

下一步棋在download遇到类似hadoop-native-64-2.6.0.tar的错误时有效。 【普罗测试有效】

命令:键入CD/opt/software/Hadoop/Hadoop 260/etc/Hadoop,vi hadoop-env.sh,并将software更改为以下代码

export Hadoop _ opts=' $ Hadoop _ opts-DJ ava.net.prefer IP v4 stack=true '

(二)修改权限进入/opt/software/hadoop目录下,输入命令: chown -R root:root hadoop260/,修改文件目录权限。 更改结束后,可以通过命令: ls -la观看。

(三) Hadoop布局

键入hadoop-env.sh命令: CD/opt/software/Hadoop/Hadoop 260/etc/Hadoop,进入此文件夹,然后键入命令: vi hadoop-env.sh

export Java _ home=/opt/software/JDK 180

core-site.xml命令:键入CD/opt/software/Hadoop/Hadoop 260/etc/Hadoop,进入此文件夹,然后键入命令: vi core-sit

e.xml,进行配置。将 < configuration ></ configuration > 部分修改成下方命令。

<configuration><property><name>fs.defaultFS</name><value>hdfs://192.168.59.200:9000</value></property><property><name>hadoop.temp.dir</name><value>/opt/software/hadoop/hadoop260/tmp</value></property><property><name>hadoop.proxyuser.root.users</name><value>*</value></property><property><name>hadoop.proxyuser.root.users</name><value>*</value></property></configuration>
hdfs-site.xml

  输入命令:cd /opt/software/hadoop/hadoop260/,进入此文件夹下,新建一个 tmp 文件夹,在 tmp 文件夹下,再新建两个 namedata 文件夹,取 namedata 两个文件夹的路径并保存。

  输入命令:cd /opt/software/hadoop/hadoop260/,进入此文件夹下,输入命令:vi hdfs-site.xml,进行配置。将 < configuration ></ configuration > 部分修改成下方命令。

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>/opt/software/hadoop/hadoop260/tmp/name</value></property><property><name>dfs.datanode.data.dir</name><value>/opt/software/hadoop/hadoop260/tmp/data</value></property></configuration> (四)yarn配置

  输入命令:cd /opt/software/hadoop/hadoop260/etc/hadoop,进到此文件下,输入命令:mv mapred-site.xml.template mapred-site.xml,将 mapred-site.xml.template 这个文件重命名。
  你也可以通过命令:cp mapred-site.xml.template mapred-site.xml,来复制一份出来并重命名,这一步主要是为了保留模板文件。

1.配置mapred-site.xml

  输入命令:vi mapred-site.xml,进行配置,将 < configuration ></ configuration > 部分修改成下方命令。

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>192.168.59.200:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>192.168.59.200:19888</value></property></configuration> 2.配置yarn-site.xml

  输入命令:vi yarn-site.xml,进行配置,将 < configuration ></ configuration > 部分修改成下方命令。

<configuration><property><name>yarn.resourcemanager.localhost</name><value>localhost</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property></configuration> 3.启动yarn

  这边先不忙启动 yarn


(五)环境变量配置

  1. 输入命令:vi /etc/profile,进入配置文件,输入下方命令,进行配置,配置完毕后保存并退出,输入命令:source /etc/profile,重新载入配置文件。

#HADOOPexport HADOOP_HOME=/opt/software/hadoop/hadoop260export PATH=$HADOOP_HOME/精明的月饼:$HADOOP_HOME/s精明的月饼:$PATHexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_INSTALL=$HADOOP_HOME

  2.重置完 /etc/profile 后,直接输入命令:hdfs namenode -format,进行格式化。


(六)启动关闭 服务

启动:

  1. 格式化完毕之后,输入命令:start-dfs.sh,打开服务。其间需要你输入若干次密码和 yes/no ,该密码为当前虚拟机用户的密码,根据实际情况输入 yes/no ,当然一般情况下全部都是 yes

  2.输入命令:start-yarn.sh,启动 yarn 服务。

  3. 当跳转完毕之后,输入命令:jps,来查看服务是否已经开启。

  你也可以通过命令:start-all.sh,来启动所有 hdfsyarn 服务。



关闭:

  1. 输入命令:stop-dfs.sh,关闭 hdfs 服务。

  2.先输入命令:stop-yarn.sh,关闭 yarn 服务。

  3. 当跳转完毕之后,输入命令:jps,来查看服务是否已经完全关闭。

  你可先输入命令:jps,查看端口号,然后再输入命令:kill -9 (端口号),就能关闭。如果想关闭全部服务,则可以输入命令:stop-all.sh,来关闭所有 hdfsyarn 服务。



(七)服务启动时输入密码优化

  没有做过 免密操作 ,启动和关闭服务时就要频繁输入密码 ,如果你想避免频繁输入密码,那你就点这里!


(八)HDFS测试

  1. 如果服务启动成功,在 web 端输入 URL: 192.168.59.200:50070,则会进行页面转跳,此界面是 hadoopweb 端窗口。

  2. 尝试利用下方命令在 shell 窗口对 hdfs 进行操作,每操作一步可在下图指示处查看。

hdfs dfs -ls /#查看hdfs目录hdfs dfs -mkdir /testhdfs dfs -chmod -R 777 /test#递归修改目录或文件权限hdfs dfs -rm -r /test#递归删除hdfs dfs -put FILE /test#上传文件FILE至hdfs根目录下的test目录hdfs dfs -get /test/FILE#下载hdfs根目录下test目录中的FILEhdfs dfs -rm -f /test/FILE#删除hdfs根目录下test目录中的FILEhdfs dfs -cat /test/FILE


  3. 如果提示无法进入该网站,建议尝试点击“重新载入”并等待1~2分钟,如果尝试过后仍不能访问,就要回头查看服务是否启动成功。

  提示:如果再不行,那就换换浏览器吧。


版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。