Hadoop伪分发实现(内置ssh，无密集登录，可进行收集查看哦) ) ) ) ) ) ) )。
目录
Hadoop伪分发实现(内置ssh，无密集登录，可进行收集查看哦) ) ) ) ) ) ) )。
一)安装前准备
(2) jdk安装、java环境的构成
三.安装伪分布式hadoop环境
(四) ssh安全登录配置【简化启动】
五：总结
一)安装前准备预安装任务(确保安装了虚拟机和linux系统，然后准备hadoop安装软件包和jdk安装软件包
以下是可能使用的安装工具和网盘的下载链接【自己】:
hadoop-2.7.7.tar.gz链接： https://pan.Baidu.com/s/18 tmvslkfjyulrip9-2iitq
抽屉代码： aoye
2. jdk-8u211-linux-x64.tar
链接： https://pan.Baidu.com/s/1 LG ops6zwmkysw 4u w2 phx ag
抽屉代码： aoye
3.WinSCP-5.17.5-Setup
链接： https://pan.Baidu.com/s/137 bmjiktagzn0P4 fylbuhq
抽屉代码： aoye
(2) jdk安装，java环境配置将hadoop-2.7.7.tar.gz安装软件包和jdk-8u211-linux-x64.tar安装软件包上载到linux系统
2 .将安装包放在根目录下/opt目录下【上传安装包时可以选择对应的目录！ 也可以之后移动】
3 .设置jdk【/opt下创建目录jdk，将JDK解压到该文件下】
4.http://www.Sina.com/目录中配置环境变量和启动器，按http://www.Sina.com /【http://www.Sina.com /】进入编辑模式，编辑后首先进入3358 www
#JAVA ENV
export JAVA_HOME=/jdk解压缩目录
export path=$ Java _ home/ml DDR : $ path
5 .更新将启用编辑文件。/etc/profile
6 .输入以验证是否成功安装了java环境：vi /etc/profile
三.伪分布式hadoop环境安装hadoop安装模式：本地安装、伪分布式安装、完全分布式安装
安装过程----解压缩安装包----配置环境----修改五个配置文件-----格式化namenode----启动
动hadoop
1. 解压hadoop-2.7.7.tar.gz安装包【在/opt目录下创建hadoop目录，把hadoop-2.7.7.tar.gz解压到该目录下】
解压后目录如下：
2. 配置hadoop环境【在 /etc/profile 目录下配置，输入：vi /etc/profile，按 i 进入编辑模式，编辑完后先按esc 再输入 :wq 保存并退出】
#HADOOP ENV
export HADOOP_HOME=/hadoop解压目录
export PATH=$HADOOP_HOME/mlddr:$HADOOP_HOME/smlddr:$PATH
3. 刷新使得文件生效，并查看环境是否配置成功【刷新：source /etc/profile ; 查看是否配置成功：hadoop】
4. 进入hadoop解压目录下的/etc/hadoop目录下 【例如： cd /opt/hadoop/hadoop-2.7.7/etc/hadoop】
5. 修改五个配置之一：hadoop-env.sh 【按 i 进入编辑模式，编辑完后先按esc 再输入 :wq 保存并退出】
6. 修改五个配置文件之一： hdfs-site.xml 【在../etc/hadoop目录下输入：vi hdfs-site.xml】
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>1</value>
</property>
7. 修改五个配置文件之一： core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://主机名:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
# tmp目录需自己创建在对应的目录下
<value>/opt/hadoop/hadoop-2.7.7/tmp</value>
</property>
8. 修改五个配置文件之一： mapred-site.xml 【没有这个配置文件，通过拷贝mapred-site.xml.template产生，输入： cp mapred-site.xml.template mspred-site.xml】
<property>
<name>mapreduce.framwork.name</name>
<value>yarn</value>
</property>
9. 配置五个配置文件之一： yarn-site.xml
<property>
<name>yarn-resourcemanager.hostname</name>
<value>主机名</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
10. 格式化namenode 【回到hadoop解压主目录，进入mlddr目录下，输入命令进行格式化：hdfs namenode -format】
成功后如下截图：
【如有格式化错误可根据所报日志进行查找，注意修改的配置文件中不能有半点错误！！】
11. 启动hadoop 【进入hadoop安装目录下的 /smlddr 目录下，输入命令启动：./start-all.sh】
注意：启动需多次输入密码，比较麻烦，结尾将给出免密登录的配置（可不用多次输入密码启动hadoop），密码输入是不显示的，输入完回车即可！
12. 启动成功后必须得有以下五个进程【namenode，datanode，secondarynamenode，resourcemanager。nodemanager】，输入查看： jps
13. hadoop配置并启动成功，可在浏览器输入端口号访问web页面： 主机名：50070
出现访问不了页面的问题，通过以下解决：
1. 查看防火墙状态并关闭防火墙：
2. 配置windows端ip映射 【进入以下目录：C:WindowsSystem32driversetc，修改hosts文件加入linux主机ip和主机名，切记保存并退出】
四： ssh免密登录配置【简化启动】
1. 关闭hadoop【smlddr目录下：./stop-all.sh】
2. 进入/root/.ssh目录：cd ~/.ssh
3. 输入 ssh-keygen -t rsa 【三下回车，生成两个文件id_rsa（私匙），id_rsa.pub（共匙）】
4. ssh-copy-id 主机名【将公匙拷贝到要免密登录的机器上】
5. 配置好后如下【启动不用再输入密码】
五： 总结以上为hadoop伪分布安装以及免密登录，解释得有不清楚的地方多多海涵。