Hadoop安装与配置1、实验目的2、实验要求3、实验环境4、集群规划5、实验内容任务1Hadoop基本安装配置任务2Hadoop高可用性完全分布式模式配置任务3同时安装与配置任务4Hadoop高可用性完全分布式模式的格式
一.实验目的
了解Hadoop在完全分布式统一平台上的高可用性完全分布式模式安装。
二、实验要求完成Hadoop高可用性完全分布式模式的安装。
Hadoop的相关服务流程可以正常启动。
HDFS可以正常使用。
MapReduce正常工作。
三.试验环境1、5台独立PC或虚拟机
2、主机之间的有效网络连接
3、每台主机内存2G以上
4、所有主机均已安装Centos 7.4操作系统
5、所有主机均已完成网络属性配置。
6 .在所有主机上安装JDK。
7、Zoopkeeper集群安装和部署完毕。
四.集群规划
五、实验内容任务一Hadoop基本安装配置1、首先，Hadoop包“hadoop-2.7.3.tar.gz”上传到用户家目录的“setups”目录。 然后进行解冻和环境变量的设定。
创建用于存储Hadoop相关文件的目录
$mkdir ~/hadoop将进入此目录
$cd ~/hadoop
解压缩软件包
$ tar-xzf~lsetups/Hadoop-2.7.3.tar.gz
2、配置Hadoop相关环境变量
修改配置文件，并在文件末尾添加以下：
立即启用新配置的环境变量
检查新添加和更改的环境变量是否正确设置，以及环境变量的值是否正确。
验证Hadoop安装配置是否成功
任务2Hadoop高可用性完全分布式模式配置1、进入Hadoop相关文件目录，进入Hadoop临时文件目录“tmp”、HDFS元数据文件目录“name”、HDFS数据文件目录
2、进入Hadoop配置文件所在的目录
对配置文件进行更改
找到具有设定项目“JAVA_HOME”的行，变更为以下内容： (删除注释# )
export Java _ home=/home/admin/Java/JDK1.8.0_ 131
对配置文件进行更改
vi core-site.xml
添加以下内容
对配置文件进行更改
vi hdfs-site.xml
添加以下内容
根据模板文件的副本生成配置文件“mapred-site.xml”
cpmapred-site.XML.templatemapred-site.XML
对配置文件进行更改
vi mapred-site.xml
添加以下内容：
对配置文件进行更改
vi yarn-env.sh
找到具有设定项目“JAVA_HOME”的行，变更为以下内容： (注释#，注意顶格) )。
export Java _ home=/home/admin/Java/JDK1.8.0_ 131
对配置文件进行更改
vi yarn-site.xml
找到标签" configuration "所在的位置，并在其中添加以下内容
#修改配置文件
vi slaves将删除文件中的所有原始内容，并为群集中的所有数据节点添加主机名，每行添加一个主机主机名。 构成形式为以下：
Cluster-03
Cluster-04
Cluster-05
任务3并行安装和配置1、将" hadoop "目录和. bash_profile文件发送至群集中的所有主机，目标用户为群集专用用户admin，目标路径为/home/admin
2、对集群中的每个主机执行以下命令操作：
立即启用新配置的环境变量
source ~/.bash_profile
检查新添加和更改的环境变量是否正确设置，以及环境变量的值是否正确。
echo $HADOOP_HOME
echo $PATH
验证Hadoop安装配置是否成功
Hadoop版本
任务Hadoop格式化和启动高可用性完全分布式模式1、在所有同步通信节点的主机上运行，启动同步通信服务，然后使用“jps”命令显示Java进程信息
“JournalNode”的进程，则表示同步通信节点启动成功。
2、在主节点使用此命令，对HDFS进行格式化，若格式化过程中没有报错则表示格式化成功。
3、格式化完成后将“hadoop”目录下的“name”目录发给集群中所有备用主节点的主机，发送目标用户为集群专用用户admin，即当前与登录用户同名的用户，发送目标路径为“/home/admin/hadoop”，即集群专用用户admin家目录下的Hadoop相关文件的目录。
4、#在集群中所有主机上使用此命令，查看该节点Zookeeper服务当前的状态，若集群中只有一个“leader”节点，其余的均为“follower”节点，则集群的工作状态正常。
5、在主节点使用命令,对Hadoop集群在Zookeeper中的主节点切换控制信息进行格式化，若格式化过程中没有报错则表示格式化成功。格式化之前确保集群中各主机Zookeeper开启。注:本操作只在第一次安装时执行。安装完成后，以及关机重启服务器后不需要再次执行。不要重复格式化。
#在所有同步通信节点的主机，使用此命令，关闭同步通信服务。注:本操作只在第一次安装时执行。安装完成后，以及关机重启服务器后不需要再次执行。
#在主节点使用命令,启动Hadoop集群。
#在所有备用主节点的主机，使用此命令，启动YARN主节点服务。
在主节点使用命令“jps”查看Java进程信息，若有名为“NameNode”、“ResourceManager”、
“DFSZKFailoverController”的三个进程，则表示Hadoop集群的主节点启动成功。
使用命令“ssh目标主机名或IP地址”远程登录到所有备用主节点主机，使用命令“jps”查看Java进程信息，若有名为“NameNode”、“ResourceManager”、“DFSZKFailoverController”的三个进程，则表示Hadoop集群的备用主节点启动成功。
6、Hadoop高可用完全分布模式验证
在Hadoop中创建当前登录用户自己的目录
查看HDFS中的所有文件和目录的结构
hadoop fs -ls -R /
进入Hadoop的示例程序包hadoop-mapreduce-examples-2.7.3.jar所在目录
#运行使用蒙地卡罗法计算PI的示例程序