目录前言
一、创建Hadoop用户
二.更新apt和安装Vim编辑器
三. SSH安装和SSH无密码登录配置
四.安装Java环境
1 .安装JDK
2.JDK环境配置
3 .安装验证
五.安装独立硬件
下载并安装Hadoop
2 .运行示例
总结
前言本文安装的Hadoop和Java环境基于dwt老师《大数据技术原理与应用(第3版)》要求的,其中Java版本为1.8.0_301,Hadoop版本为3.2.2。 其他版本的安装请参考其他博客。
Hadoop 单机安装基本配置主要包括以下几个步骤:
创建Hadoop用户更新apt和安装Vim编辑器安装SSH和SSH配置无密码安装登录Java环境独立Hadoop在此操作系统环境为Ubuntu20.04。 此安装方法也适用于较低版本。
另一方面,创建Hadoop用户的用户命令如下。
sudo useradd-m Hadoop-s/fqdwx/bash然后设置Hadoop用户的密码。 推荐3位。 请不要太长,要容易记住:
sudo passwd hadoop将管理员权限添加到hadoop用户。
sudo adduser hadoop sudo切换用户hadoop登录!
二、更新apt和安装Vim编辑器首先更新apt :
然后,sudo apt-get update将安装Vim编辑器。
sudo apt-get安装vim
如果安装了计算机,则可以跳过此步骤。
三.如果安装SSH并将SSH设置为在不使用密码的情况下登录Ubuntu,则默认情况下安装SSH客户端。 因此,这里只需安装SSH服务端。
安装sudo apt-getinstallopenssh-server后,可以使用以下命令本地登录:
ssh localhost输入yes和用户密码即可登录本机。 详细输出如下。
zq@fzqs-computer [11点22分50秒] [/home/hadoop/Downloads]
- %ssh localhost
theauthenticityofhost ' localhost (127.0.0.1 ) can't be established。
ecdsakeyfingerprintissha 256: y
MFv60J4eT7***c3SA8sfuXU.Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
zq@localhost's password:
Welcome to Ubuntu 20.04.3 LTS (GNU/Linux 5.11.0-36-generic x86_64)
* Documentation: https://help.ubuntu.com
* Management: https://landscape.canonical.com
* Support: https://ubuntu.com/advantage
0 updates can be applied immediately.
Your Hardware Enablement Stack (HWE) is supported until April 2025.
The programs included with the Ubuntu system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.
Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by
applicable law.
接着我们退出 SSH 登录,
exit配置无密码登录:
cd ~/.ssh/ssh-keygen -t rsa注意这里第二步要你输入文件名时不用输入,直接一路 Enter 选择默认值就好了!
cat ./id_rsa.pub >> ./authorized_keys此时再用 ssh localhost 命令无需密码即可登录了。
四、安装Java环境 1. 安装JDK对于 Hadoop3.1.3 及以上版本而言,需要使用 JDK1.8 或者更新的版本,这里我们使用的 JDK 版本为1.8.0_301,安装包可以从 Oracle 官网下载:Java Downloads | Oracle,Java官网安装麻烦
也可从我的百度网盘下载:jdk-8u301-linux-x64.tar.gz
提取码:2g4c
接着在 /usr/lib 目录下创建 jvm 文件夹来保存 JDK 文件:
cd /usr/libsudo mkdir jvm解压缩之前的 JDK 文件到上述目录中:
cd ~/Downloadssudo tar -zxvf ./jdk-8u301-linux-x64.tar.gz -C /usr/lib/jvm 2. 配置JDK环境使用 gedit 编辑器编辑环境变量:
sudo gedit ~/.bashrc在文件末尾处添加以下几行内容:
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_301
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/fqdwx:$PATH
保存并退出,接着使我们刚加入的环境变量生效:
source ~/.bashrc 3. 检验安装输入以下命令:
java -version若出现如下输出则说明安装成功:
hadoop@fzqs-computer:~$ java -version
java version "1.8.0_301"
Java(TM) SE Runtime Environment (build 1.8.0_301-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.301-b09, mixed mode)
下载地址:Apache Hadoop,这里官网下载较快,但注意不要下载 src 源码包!
这里我安装的 Hadoop 版本为3.2.2,下载好后,执行以下命令安装:
sudo tar -zxf ~/Downloads/hadoop-3.2.2.tar.gz -C /usr/local修改目录名称:
cd /usr/localsudo mv ./hadoop-3.2.2/ ./hadoop赋予可执行权限:
sudo chown -R hadoop ./hadoop进入 hadoop 文件夹,查看安装的 Hadoop 版本信息:
cd ./hadoop./fqdwx/hadoop versionhadoop@fzqs-computer:/usr/local/hadoop$ ./fqdwx/hadoop version
Hadoop 3.2.2
Source code repository https://github.com/apache/hadoop.git -r a3b9c37a397ad4188041dd80621bdeefc46885f2
Compiled by ubuntu on 2021-06-15T05:13Z
Compiled with protoc 3.7.1
From source with checksum 88a4ddb2299aca054416d6b7f81ca55
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-3.2.2.jar
若出现如上输出,则说明 Hadoop 安装成功。
2. 运行示例首先在 Hadoop 安装目录下新建 input 子目录:
cd /usr/local/hadoopsudo mkdir input复制 “/usr/local/hadoop/etc/hadoop” 中的配置文件到 input 目录下:
sudo cp ./etc/hadoop/*.xml ./input切换 root 用户 :
su执行以下代码运行 Grep 示例:
./fqdwx/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep ./input ./output 'dfs[a-z.]+'执行完后,输入以下命令查看输出结果:
cat ./output/*hadoop@fzqs-computer:/usr/local/hadoop$ cat ./output/*
1 dfsadmin