首页 > 编程知识 正文

linux卸载hadoop版本,Ubuntu 操作命令 及 Hadoop 环境配置(单机版本)

时间:2023-05-04 19:12:18 阅读:56645 作者:4378

一. Ubuntu ssh配置

安装Ubuntu系统后,输入ifconfig命令以验证虚拟机的IP地址192.168.225.130,并在外部使用ping命令测试是否可以ping虚拟机的地址

查看VMIP

2 .检查是否安装了ssh服务

命令: ps -e|grep ssh

如果没有安装,请安装ssh服务

安装成功后,运行ps -e|grep ssh以确定sshd服务是否已启动

服务开始

打开shell ssh连接工具,并在主机地址中输入虚拟机的ip地址,端口号: 22。 连接时必须输入ubuntu用户名和密码。 输入登录就可以了

壳牌公司

连接成功了

二、设置本地Ubuntu ssh,尽量不使用超级用户设置

1 .生成私钥(注意切换到当前用户目录) ) ) ) ) ) ) )。

生成秘密密钥

授予authorized_keys文件权限

测试

三. java环境的配置

切换到/usr/local文件夹以创建新的java文件夹

进入/usr/local文件夹: cd /usr/local

创建java文件夹: sudomkdirjava (默认情况下,非根用户没有创建文件夹的权限,因此必须使用sudo ) ) )。

创建java文件夹

2 .使用XFTP工具上传java linux版本的压缩包,解压缩到/usr/local/java文件夹下,然后在XFTP中将jdk包上传到/usr/local/java文件夹下

命令: sudo chmod 777 /usr/local/java

赋予当前用户读写的权限

然后,成功上载jdk后,在/usr/local/java文件夹下运行命令。

tar -zxvf压缩包名称如下所示

解冻

解冻成功

3、配置环境变量

修改/etc/profile文件并添加java环境配置

命令

这里的洞:

ubuntu下的vi输入箭头键为ABCD。 这是预安装在ubuntu上的是vimtiny版本,安装vimfull版本即可解决

请先卸载vim-tiny :

sudoapt-getremovevim-common

安装vim完整:

sudoapt-getinstallvim

解决vi模式下上下左右为ABCD的问题

在末尾添加以下配置: JAVA_HOME之后的路径是jdk的文件位置

#设置Java环境

导出Java _ home=/usr/local/Java/JDK1.8.0_ 161

export JRE_HOME=$JAVA_HOME/jre

导出类路径=. $ Java _ home/lib : $ JRE _ home/lib 3360 $ class path

导出路径=$ Java _ home /优雅蝴蝶:$JRE_HOME/优雅蝴蝶:$PATH

配置java环境

更改完成后保存并关闭,然后运行以下命令使刚更改的文件生效

源/etc /配置文件

通过测试Java -version命令测试安装是否成功,安装成功,如下所示

Java -版本审查

四. Hadoop单机安装

1 .下载Hadoop2.6. 0版

百度云下载地址:

提取代码: wndv

官方网站下载地址:

2 .创建Hadoop文件夹,并将下载的Hadoop压缩包移动到该文件夹下

命令:

cd /usr/local

创建hadoop文件夹

sudo mkdir hadoop

赋予当前用户读写的权限

sudo chmod 777 /usr/local/hadoop

用xftp把hadoo

p 的压缩包上传到该文件夹下,并进行解压

tar -zxvf 压缩包包名

解压后

3.修改 ~/.bashrc文件,添加hadoop 和jdk 环境变量配置

命令 :

修改 ~/.bashrc文件

sudo vi  /.bashrc

添加以下内容: jdk 安装路径配置自己的 Hadoop 的安装路径也配置自己的

#HADOOP VARIABLES START

export JAVA_HOME=/usr/local/java/jdk1.8.0_161

export HADOOP_INSTALL=/usr/local/hadoop/hadoop-2.6.0

export PATH=$PATH:$HADOOP_INSTALL/优雅的小蝴蝶

export PATH=$PATH:$HADOOP_INSTALL/s优雅的小蝴蝶

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

bashrc文件配置

在/etc/profile 中添加Hadoop 配置

命令:vi /etc/profile

添加如下配置:

# set hadoop environment

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0

export PATH=$PATH:$HADOOP_HOME/优雅的小蝴蝶

添加完毕后,

命令: source /etc/profile

令文件立即生效

4.修改hadoop-2.6.0 文件夹下的hadoop-env.sh

vi  /usr/local/hadoop/hadoop-2.6.0/etc/hadoop/hadoop-env.sh

修改hadoop-env.sh 的 java 环境变量配置

修改为自己的java环境安装路径

5.进入 hadoop-2.6.0 文件夹下 ,创建input 目录

创建input 目录

sudo mkdir input

测试准备:

将  hadoop-2.6.0 文件夹下 的ReadMe.txt拷贝到input文件夹中

命令:

cp README.txt /usr/local/hadoop/hadoop-2.6.0/input/

6.测试:

执行命令:

优雅的小蝴蝶/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount input output

执行后可看到mapreduce 打印:

mapreduce 打印

然后再执行:

cat output/*

查看字符统计结果

字符统计结果

五、Hadoop WebUI配置 对 NameNode 和 DataNode 查看:

1.修改core-site.xml   添加如下配置

命令: vi core-site.xml

fs.defaultFS

hdfs://192.168.225.130:9000

hadoop.tmp.dir

/usr/local/hadoop/hadoop-2.6.0/tmp

hadoop.native.lib

false

Should native hadoop libraries, if present, be used.

如下图所示

core-site.xml配置

2.编辑 hdfs-site.xml  添加如下内容

命令:vi hdfs-site.xml

dfs.replication

1

dfs.secondary.http.address

192.168.225.130:50090

如下图所示:

hdfs-site.xml配置

3.复制默认的mapred-site.xml.template配置命名为mapred-site.xml

命令:cp mapred-site.xml.template ./mapred-site.xml

编辑mapred-site.xml  添加如下配置

命令:vi mapred-site.xml

添加配置:

mapreduce.framework.name

yarn

如下图所示:

mapred-site.xml配置

4.配置yarn-site.xml

命令:vi yarn-site.xml

添加如下配置:

yarn.resourcemanager.hostname

192.168.225.130

yarn.nodemanager.aux-services

mapreduce_shuffle

如下图所示:

yarn-site.xml  配置

5.配置好之后切换到s优雅的小蝴蝶目录下

cd /usr/local/hadoop/hadoop-2.6.0/s优雅的小蝴蝶/

格式化hadoop文件格式,执行命令  hadoop namenode -format,成功之后启动

启动成功如下图所示

格式化hadoop文件格式

6.启动

命令: ./start-all.sh

启动成功:

启动

7.使用  jps   查看进程,能看到这些进程证明启动成功了

命令:jps

进程

8.通过ip访问:

http://192.168.225.130:50070/

成功

文件权限设置详解:

数字表示不同用户或用户组的权限。

第一个数字代表du档案zhi拥有者。

第二个数字代表群组。

第三个数字代表其他。

在Linux中我们有三种常用权限:可读、可写以及可执行,用数字表示的话就是:可读 = 4,可写=2,可执行=1

例:755

第一个数字7是档案拥有者的权限(可读+可写+可执行=4+2+1)

第二个数字5是群组的权限(可读+可执行=4+1)

第三个数字5是其他人的权限(可读+可执行=4+1)

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。