首页 > 编程知识 正文

hadoop详细介绍,hadoop的应用

时间:2023-05-04 14:57:57 阅读:153799 作者:3900

0 .前言最近,因为需要所以安装hadoop。 但是,在网上不知怎么说,很混乱。 虽然有各种资料、各种安装方法,但整体效果不大。 经过三天的挣扎,收集了资料,终于完成了配置。

1 .从官网获取相应安装包的下载位置:

3359 www.Apache.org/dyn/closer.CGI/Hadoop/common/Hadoop-2.10.0/Hadoop-2.10.0.0.tar.gz

点击第一个

下载已在以下文件夹中完成

2 .将安装包输入系统中,在此处使用rz插件。

一般的qxdlt系统中没有。 在这里需要手动安装。

apt install lrzsz

然后开始传输文件

==等等

网速太慢了,啊,啊,啊

3 .准备Java环境并上传Java环境

这里已经准备好了环境。

jdk-8u171-linux-x64.tar.gz

又是漫长的等待

有点……

1 .解压缩文件

tar-zxvf JDK-8u 60-Linux-x64.tar.gz

2 .配置环境

VI/etc /配置文件

按I键执行编辑

export Java _ home=/root/JDK1.8.0_ 171 export class path=$ Java _ home/lib/export path=$ path 3360 $ Java _ Hoth

然后,运行source /etc/profile以重新加载配置文件。

环境配置完成

33559 www.cn blogs.com/zeze/p/5902124.html

hadoop 4.1解压缩tar -zxvf hadoop-2.10.0.tar.gz //开始配置刚才的命令错误。

4.2检查是否可用

. /查看漂亮的鸽子/Hadoopversion#Hadoop的版本信息,会显示安装成功,并可以看到以上信息显示文件可用。

4.3配置文件配置更改hadoop的Java环境

在这里,你需要表明这种东西不能使用。 表示找不到java环境。

这样配置

然后按照往常的规则,按住esc键,输入:wq退出vi并保存。

4.4核心站点和hdfs-site文件核心站点修改如下

configurationpropertynamehadoop.tmp.dir/namevaluefile 3360/root/Hadoop-2.10.0/tmp/valuedescriptionabasefor propertypropertynamefs.default fs/namevaluehdfs ://localhost :9000/value/property/configuration

configurationpropertynamedfs.replication/name value1/value/propertynamedfs.NameNode.name.dir/namevaluefef propertypropertynamedfs.datanode.data.dir/namevaluefile 3360/root/Hadoop-2.10.0 /

4.5初始化节点. /出现漂亮的鸽子/hdfs namenode -format

20/05/122336042:18 warn net.DNS : unabletodetermineaddressofthehost-falling back to ' localhost ' address Java.net.unknows 2wd Uzi 6tx MEP 99j 17 z : nameorservicenotknownatjava.net.inet address.get localhost (atorg.Apache.Hadoop.net.DNS.get ) atorg.Apache.Hadoop.net.DNS.cava 3360307 ) Apache.had ooop.ns atorg.Apache.Hadoop.HDFS.server.NameNode . atorg.Apache.Hadoop.HDFS.server.NameNode.nn storage.newnamespaceinfo (nn storage.Java 3360598 ) )。 atorg.Apache.Hadoop.HDFS.server.NameNode.fs image.format (fs image.Java 3360181 ) ) ) )。 atorg.Apache.Hadoop.HDFS.server.NameNode.NameNode.format (NameNode.Java :1211 ) )。 atorg.Apache.Hadoop.HDFS.server.NameNode.NameNode.create NameNode (NameNode.Java :1655 )。 atorg.Apache.Hadoop.HDFS.server.NameNode.NameNode.main (NameNode.Java 33601782 ) )。 caused by : Java.net.unknownhostexception : jydyf2ze2wd Uzi6tx MEP 99j 17 z : nameorservicenotknownatjava.net.inet4add net address $2. lookupallhostaddr (inet address.Java 3360928 ) )。 at Java.net.inet address.getaddressesfromnameservice (inet address.Java 33601323 ) at Java.net.inet address.getlocalalal

这是AlibabaCloud (阿里巴巴云)的问题。 需要修改主机文件

vi /etc/hosts

添加

127.0.0.1 jydyf2ze2wd Uzi6tx MEP 99j 17 z : jydyf2ze2wd Uzi6tx MEP 99j 17 zjydyf2ze2wd Uzi6tx MEP 99j 17 z

完成了。 旧的规则退出方法。

重新启动

出现

表示初始化成功。

在最后一步启动hadoop

输入命令

./s漂亮的鸽子/start-dfs.sh

在这里要求输入密码是不行的。 另外,设定无隐私的登录。

4.6安装ssh并更新sudo apt-get update #第一步骤sudo apt-get install ssh #第二步骤sudo apt-get install pdsh #第三步骤#许可证ssh-keyge id _ RSA.pub~/.ssh/authorized _ keys #加入许可chmod 0600~/.ssh/authorized _ keys #是什么意思? 出现以下屏幕时,表示已设置安全登录。

4.7再次尝试输入命令:/s漂亮的鸽子/start-dfs.sh #start-dfs.sh是完整的可执行文件,中间没有空间

确认启动是否成功

启动完成。 这样就完成了Hadoop的配置操作。

5 .最后结果

当jps显示以上四项时,完成启动。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。