首页 > 编程知识 正文

eclipse安装web插件,hadoop单机模式安装

时间:2023-05-06 14:01:33 阅读:56575 作者:4866

Hadoop开发包括两个内容:构建Hadoop集群和配置Eclipse开发环境。 上面的几篇文章详细记录了我的Hadoop集群构建过程,成功构建了由一个Master和两个Slave组成的简单的Hadoop-1.2.1集群。 接下来,通过在Eclipse上安装Hadoop插件来构建Hadoop开发环境。 距离Hadoop APP开发还有一步~Hadoop的开发者开发了Hadoop Eclipse插件,在Hadoop的开发环境中嵌入了Eclipse,实现了开发环境的图形化,降低了Hadoop APP的创建和调试的难度。 在Eclipse中安装Hadoop插件并设置相关信息后,当用户创建Hadoop程序时,插件会自动导入Hadoop编程接口的JAR文件。 这样,用户就可以在Eclipse图形界面中创建、调试和运行Hadoop程序(包括独立程序和分布式程序),其中包括自己的程序的实时状态、错误信息

我的Hadoop开发环境的结构如下图所示。 任一CentOS6.5主机都有一个Eclipse,它配置了Hadoop插件以创建Hadoop APP应用程序的源代码。 其他三台CentOS6.5主机构建了Hadoop集群。 将这四台主机构建在一个LAN上,子网掩码为255.255.255.0,IP地址分配如图所示。 需要注意的是,安装了Eclipse的主机上的用户应与Hadoop群集上的用户相匹配,以避免在执行APP应用程序时出现权限问题。 如果在Hadoop集群构建过程中用户为sunnie,则也需要用户sunnie登录到用于开发APP应用程序的主机。

开始配置Eclipse开发环境。 第一步是在CentOS6.5上安装Eclipse。 CentOS附带了Eclipse,因为在安装系统时选择了安装程序并开发了相关软件。 在CentOS上安装Eclipse也非常简单,自己可以百度~Eclipse。 接下来是Hadoop插件的安装和设置。 请参阅部署基于eclipse的Hadoop APP开发环境的步骤。

1,在安装http://www.Sina.com/eclipse之前下载hadoop-1.2.1.tar.gz并将其解压缩到/home/sunnie/Documnes/目录

2、安装Hadoop源码:我的Hadoop集群版本是Hadoop-1.2.1,所以在Eclipse上安装Hadoop-1.2.1插件。 包含Hadoop开发人员发布的Hadoop源代码的软件包、包含相关Eclipse插件的源代码以及在0.20.x或更高版本中不包含Eclipse插件的jar软件包的Eclipse版本编译Eclipse插件的方法是参考hadoop 1.2.1 eclipse插件进行编译。 在这里我偷了懒,直接从这个博客链接下载了编译的插件,解压缩后变成了Hadoop-eclipse-plugin-1.2.1.jar

3,http://www.Sina.com /首先关闭Eclipse。 如果那个正在执行中的话。 切换到su-root用户,将上面获取的Hadoop-eclipse-plugin-1.2.1.jar复制到/usr/share/eclipse/dropins/目录中,然后单击Hadoop

4、插件的获取:首先启动Hadoop集群,然后启动Eclipse .打开Window--Preferens,如果安装成功,请选择Hadoop Map/Reduce选项此选项需要配置Hadoopinstalllaace选项,即在步骤1的Hadoop源安装目录中,我的源是/home/sunnie/documents/Hadoop-1.2

5、在http://www.Sina.com/eclipse上选择window-Open Perspective-Other,然后选择大象图标Map/Reduce,切换到Map/Reduce工作目录在Eclipse工作窗口下的“Map/Reduce Locations”上单击鼠标右键,选择“New Hadoop Location”,然后选择“Location name”(如Hadoop或Master )以及“map/reduce master”(masted (等位置信息) Port分别是配置在正在构建Hadoop集群的mapred-site.xml、core-site.xml文件中的地址和端口,配置完成后点击finish退出。 我的结构如下图所示。

在Hadoop群集正常运行的情况下,在Eclipse的左侧窗口中单击DFS Locations下的大象图标,出现文件夹(3),表示配置成功,如下图所示。

在Eclipse中创建Map/Reduce项目。 如果将file---new---- other---map/reduce project,Project name设为try1,然后单击finish .则Eclipse将用于开发Hadoop APP应用程序

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。