一. Ubuntu ssh配置
安装Ubuntu系统后,输入ifconfig命令以验证虚拟机的IP地址192.168.225.130,并在外部使用ping命令测试是否可以ping虚拟机的地址
查看VMIP
2 .检查是否安装了ssh服务
命令: ps -e|grep ssh
如果没有安装,请安装ssh服务
安装成功后,运行ps -e|grep ssh以确定sshd服务是否已启动
服务开始
打开shell ssh连接工具,并在主机地址中输入虚拟机的ip地址,端口号: 22。 连接时必须输入ubuntu用户名和密码。 输入登录就可以了
壳牌公司
连接成功了
二、设置本地Ubuntu ssh,尽量不使用超级用户设置
1 .生成私钥(注意切换到当前用户目录) ) ) ) ) ) ) )。
生成秘密密钥
授予authorized_keys文件权限
测试
三. java环境的配置
切换到/usr/local文件夹以创建新的java文件夹
进入/usr/local文件夹: cd /usr/local
创建java文件夹: sudomkdirjava (默认情况下,非根用户没有创建文件夹的权限,因此必须使用sudo ) ) )。
创建java文件夹
2 .使用XFTP工具上传java linux版本的压缩包,解压缩到/usr/local/java文件夹下,然后在XFTP中将jdk包上传到/usr/local/java文件夹下
命令: sudo chmod 777 /usr/local/java
赋予当前用户读写的权限
然后,成功上载jdk后,在/usr/local/java文件夹下运行命令。
tar -zxvf压缩包名称如下所示
解冻
解冻成功
3、配置环境变量
修改/etc/profile文件并添加java环境配置
命令
这里的洞:
ubuntu下的vi输入箭头键为ABCD。 这是预安装在ubuntu上的是vimtiny版本,安装vimfull版本即可解决
请先卸载vim-tiny :
sudoapt-getremovevim-common
安装vim完整:
sudoapt-getinstallvim
解决vi模式下上下左右为ABCD的问题
在末尾添加以下配置: JAVA_HOME之后的路径是jdk的文件位置
#设置Java环境
导出Java _ home=/usr/local/Java/JDK1.8.0_ 161
export JRE_HOME=$JAVA_HOME/jre
导出类路径=. $ Java _ home/lib : $ JRE _ home/lib 3360 $ class path
导出路径=$ Java _ home /优雅蝴蝶:$JRE_HOME/优雅蝴蝶:$PATH
配置java环境
更改完成后保存并关闭,然后运行以下命令使刚更改的文件生效
源/etc /配置文件
通过测试Java -version命令测试安装是否成功,安装成功,如下所示
Java -版本审查
四. Hadoop单机安装
1 .下载Hadoop2.6. 0版
百度云下载地址:
提取代码: wndv
官方网站下载地址:
2 .创建Hadoop文件夹,并将下载的Hadoop压缩包移动到该文件夹下
命令:
cd /usr/local
创建hadoop文件夹
sudo mkdir hadoop
赋予当前用户读写的权限
sudo chmod 777 /usr/local/hadoop
用xftp把hadoo
p 的压缩包上传到该文件夹下,并进行解压tar -zxvf 压缩包包名
解压后
3.修改 ~/.bashrc文件,添加hadoop 和jdk 环境变量配置
命令 :
修改 ~/.bashrc文件
sudo vi /.bashrc
添加以下内容: jdk 安装路径配置自己的 Hadoop 的安装路径也配置自己的
#HADOOP VARIABLES START
export JAVA_HOME=/usr/local/java/jdk1.8.0_161
export HADOOP_INSTALL=/usr/local/hadoop/hadoop-2.6.0
export PATH=$PATH:$HADOOP_INSTALL/优雅的小蝴蝶
export PATH=$PATH:$HADOOP_INSTALL/s优雅的小蝴蝶
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
bashrc文件配置
在/etc/profile 中添加Hadoop 配置
命令:vi /etc/profile
添加如下配置:
# set hadoop environment
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/优雅的小蝴蝶
添加完毕后,
命令: source /etc/profile
令文件立即生效
4.修改hadoop-2.6.0 文件夹下的hadoop-env.sh
vi /usr/local/hadoop/hadoop-2.6.0/etc/hadoop/hadoop-env.sh
修改hadoop-env.sh 的 java 环境变量配置
修改为自己的java环境安装路径
5.进入 hadoop-2.6.0 文件夹下 ,创建input 目录
创建input 目录
sudo mkdir input
测试准备:
将 hadoop-2.6.0 文件夹下 的ReadMe.txt拷贝到input文件夹中
命令:
cp README.txt /usr/local/hadoop/hadoop-2.6.0/input/
6.测试:
执行命令:
优雅的小蝴蝶/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount input output
执行后可看到mapreduce 打印:
mapreduce 打印
然后再执行:
cat output/*
查看字符统计结果
字符统计结果
五、Hadoop WebUI配置 对 NameNode 和 DataNode 查看:
1.修改core-site.xml 添加如下配置
命令: vi core-site.xml
fs.defaultFS
hdfs://192.168.225.130:9000
hadoop.tmp.dir
/usr/local/hadoop/hadoop-2.6.0/tmp
hadoop.native.lib
false
Should native hadoop libraries, if present, be used.
如下图所示
core-site.xml配置
2.编辑 hdfs-site.xml 添加如下内容
命令:vi hdfs-site.xml
dfs.replication
1
dfs.secondary.http.address
192.168.225.130:50090
如下图所示:
hdfs-site.xml配置
3.复制默认的mapred-site.xml.template配置命名为mapred-site.xml
命令:cp mapred-site.xml.template ./mapred-site.xml
编辑mapred-site.xml 添加如下配置
命令:vi mapred-site.xml
添加配置:
mapreduce.framework.name
yarn
如下图所示:
mapred-site.xml配置
4.配置yarn-site.xml
命令:vi yarn-site.xml
添加如下配置:
yarn.resourcemanager.hostname
192.168.225.130
yarn.nodemanager.aux-services
mapreduce_shuffle
如下图所示:
yarn-site.xml 配置
5.配置好之后切换到s优雅的小蝴蝶目录下
cd /usr/local/hadoop/hadoop-2.6.0/s优雅的小蝴蝶/
格式化hadoop文件格式,执行命令 hadoop namenode -format,成功之后启动
启动成功如下图所示
格式化hadoop文件格式
6.启动
命令: ./start-all.sh
启动成功:
启动
7.使用 jps 查看进程,能看到这些进程证明启动成功了
命令:jps
进程
8.通过ip访问:
http://192.168.225.130:50070/
成功
文件权限设置详解:
数字表示不同用户或用户组的权限。
第一个数字代表du档案zhi拥有者。
第二个数字代表群组。
第三个数字代表其他。
在Linux中我们有三种常用权限:可读、可写以及可执行,用数字表示的话就是:可读 = 4,可写=2,可执行=1
例:755
第一个数字7是档案拥有者的权限(可读+可写+可执行=4+2+1)
第二个数字5是群组的权限(可读+可执行=4+1)
第三个数字5是其他人的权限(可读+可执行=4+1)