首页 > 编程知识 正文

完全分布式hadoop搭建,hadoop安装与伪分布式集群搭建

时间:2023-05-06 01:40:55 阅读:56578 作者:3184

开头,简单说明一下这边博客的主要内容。 首先,这是一个applet演示,它允许idea配置和操作hadoop程序。

在构建Hadoop的过程中,厦门大学笨蛋的百褶裙课程还在继续。 这是Hadoop构建教程的链接。 我是用自己的机器构建的独立的伪分布式。 因此,以下部分操作适用于独立伪方差:

构建idea开发环境我们需要做的事情有两件。 部署jar包时,笨蛋百褶裙教程中引入了两个common下的jar。 即使写代码,半天也不会有结果。 下面介绍如何在idea下部署jar包。

如下图所示。

大家建议部署的jar包包括

(1)/usr/local/Hadoop/share/Hadoop/common )”目录下的hadoop-common-2.7.1.jar和haoop-NFS-2.7.7

)2)/usr/local/Hadoop/share/Hadoop/common/lib )目录中的所有JAR包;

(3)“/usr/local/Hadoop/share/Hadoop/HDFS”目录下的haoop-hdfs-2.7.1.jar和haop-HDFS-NFS-2.7.1

)4)“/usr/local/Hadoop/share/Hadoop/HDFS/lib”目录中的所有JAR包。

例如,位于“/usr/local/Hadoop/share/Hadoop/common”目录中的hadoop-common-2.7.1.jar和haoop-NFS-2.7.1

在这里可以导入整个文件。

我们的第一个hadoop程序导入jar包后,基本上可以正常编写我们的程序。

importorg.Apache.Hadoop.conf.configuration; importorg.Apache.Hadoop.fs.file system; importorg.Apache.Hadoop.fs.path; public class chapter3(publicstaticvoidmain (string [ ] args ) try ) string filename=' HDFS ://localhost 33609000/ublibly 文件系统fs=文件系统. get (conf; if(fs.exists(newpath ) filename ) ) ({ System.out.println ) )文件存在); }else{ System.out.println ('文件不存在); }catch(exceptione ) { e.printStackTrace ); }}当然,在编写代码之前,必须启动hadoop的文件系统。 但是,到了这里还是会报告错误的。 原因是你减少了core-site.xml和hdfs-site.xml,它报告了以下错误。

群集上的core-site.xml和hdfs-site.xml (这两个文件位于/hadoop/etc/hadoop目录中)

下)放在当前项目下,eclipse下关于项目下的mldby目录,idea则放在src目录下,其他目录下也没有用。

到此为止,我们基本上可以正常运行这个程序。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。