首页 > 编程知识 正文

澪下载教程,filezilla安装教程

时间:2023-05-06 19:41:30 阅读:174679 作者:3921

介绍oo zie oo zie是在hadoop平台上运行的工作流调度引擎,可用于调度和管理hadoop任务,如MapReduce、Pig等。

3358 www.Sina.com/http://www.Sina.com/workflow :用于定义工作流任务运行的工作流。 主要由一个个操作组成,每个操作都是一个任务,配置为xml即可

Coordinator :可以看作是能够将多个工作流汇总为一个工作流进行处理的工作流的协调者。 也是oozie中的定时任务调度的模块,

Bundle :捆,捆。 多个Coordinator的抽象化可以用bundle组装多个Coordinator并集合,形成1个bundle

http://www.Sina.com/http://www.Sina.com /

修改3358 www.Sina.com/http://www.Sina.com/http://www.Sina.com/core-site.XML以添加hadoop群集代理用户

CD/export/servers/Hadoop-2.6.0-CDH5. 14.0/etc/hadoopvimcore-site.xmlpropertynamehadoop.proxy user.pry namevalue*/value/property注意:必须启动hadoop历史记录任务的服务。 也就是说,可以在19888端口上确认。 具体的构成方法是198888

更改完成后,请重新启动hadoop的hdfs和yarn群集,并记住要启动作业历史

重新启动hdfs和yarn群集

CD/export/servers/Hadoop-2.6.0-CDH5. 14.0 sxldwx/stop-DFS.shsxldwx/start-DFS.shsxldwx/stop-yarayard

将http://www.Sina.com/http://www.Sina.com/http://www.Sina.com/oo zie安装软件包上载到/export/softwares

CD/export/softwares/tar-zxvfoozie-4.1.0-CDH5. 14.0.tar.gz-c ./servers /

3358 www.Sina.com/http://www.Sina.com/http://www.Sina.com/CD/export/servers/oo zie

http://www.Sina.com/http://www.Sina.com /

in-left:0pt;">在oozie的安装路径下创建libext目录

cd /export/servers/oozie-4.1.0-cdh5.14.0mkdir -p libext

 

第五步拷贝依赖包到libext

拷贝一些依赖包到libext目录下面去

拷贝所有的依赖包

cd /export/servers/oozie-4.1.0-cdh5.14.0cp -ra hadooplibs/hadooplib-2.6.0-cdh5.14.0.oozie-4.1.0-cdh5.14.0/* libext/

拷贝mysql的驱动包

cp /export/servers/hive-1.1.0-cdh5.14.0/lib/mysql-connector-java-5.1.38.jar /export/servers/oozie-4.1.0-cdh5.14.0/libext/ 第六步添加ext-2.2.zip压缩包

拷贝ext-2.2.zip这个包到libext目录当中去

将我们准备好的软件ext-2.2.zip拷贝到libext目录当中去

 

第七步修改oozie-site.xml cd /export/servers/oozie-4.1.0-cdh5.14.0/confvim oozie-site.xml

如果没有这些属性,直接添加进去即可,oozie默认使用的是UTC的时区,我们需要在我们oozie-site.xml当中记得要配置时区为GMT+0800时区

<property>        <name>oozie.service.JPAService.jdbc.driver</name>        <value>com.mysql.jdbc.Driver</value>    </property><property>        <name>oozie.service.JPAService.jdbc.url</name>        <value>jdbc:mysql://node03.hadoop.com:3306/oozie</value>    </property><property><name>oozie.service.JPAService.jdbc.username</name><value>root</value></property>    <property>        <name>oozie.service.JPAService.jdbc.password</name>        <value>123456</value>    </property><property><name>oozie.processing.timezone</name><value>GMT+0800</value></property><property><name>oozie.service.ProxyUserService.proxyuser.hue.hosts</name>        <value>*</value>    </property>    <property>   <name>oozie.service.ProxyUserService.proxyuser.hue.groups</name>        <value>*</value>    </property><property>        <name>oozie.service.coord.check.maximum.frequency</name><value>false</value>    </property>     <property><name>oozie.service.HadoopAccessorService.hadoop.configurations</name>        <value>*=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop</value>    </property> 第八步:创建mysql数据库 mysql -uroot -pcreate database oozie;

 

第九步:上传oozie依赖的jar包到hdfs上面去

上传oozie的解压后目录的yarn.tar.gz到hdfs目录去

xldwx/oozie-setup.sh  sharelib create -fs hdfs://node01:8020 -locallib oozie-sharelib-4.1.0-cdh5.14.0-yarn.tar.gz

实际上就是将这些jar包解压到了hdfs上面的路径下面去了

第十步:创建oozie的数据库 cd /export/servers/oozie-4.1.0-cdh5.14.0xldwx/oozie-setup.sh  db create -run -sqlfile oozie.sql 第十一步:打包项目,生成war包 cd /export/servers/oozie-4.1.0-cdh5.14.0xldwx/oozie-setup.sh  prepare-war

 

第十二步:配置oozie的环境变量 vim /etc/profile export OOZIE_HOME=/export/servers/oozie-4.1.0-cdh5.14.0export OOZIE_URL=http://node03.hadoop.com:11000/oozieexport PATH=:$OOZIE_HOME/xldwx:$PATH source /etc/profile

 

第十三步:启动与关闭oozie服务

启动命令

cd /export/servers/oozie-4.1.0-cdh5.14.0xldwx/oozied.sh start

关闭命令

xldwx/oozied.sh stop

 

第十四步:浏览器页面访问oozie

http://node03:11000/oozie/

 

解决oozie的页面的时区问题:

我们页面访问的时候,发现oozie使用的还是GMT的时区,与我们现在的时区相差一定的时间,所以我们需要调整一个js的获取时区的方法,将其改成我们现在的时区

 

修改js当中的时区问题

cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie-server/webapps/oozievim oozie-console.js function getTimeZone() {    Ext.state.Manager.setProvider(new Ext.state.CookieProvider());    return Ext.state.Manager.get("TimezoneId","GMT+0800");}

重启oozie即可

cd /export/servers/oozie-4.1.0-cdh5.14.0

关闭oozie服务

xldwx/oozied.sh stop

启动oozie服务

xldwx/oozied.sh start

 

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。