首页 > 编程知识 正文

oozie怎么修改配置文件,让我来介绍它吧

时间:2023-05-06 20:15:25 阅读:174738 作者:3788

絮叨:

博主是软件工程系外向的哈密瓜、数据线,通过博客记录自己学到的东西,希望正在学习的同学们也能给予帮助

人的一生中遇到各种各样的困难和痛苦,逃避不能解决问题,只能用乐观的精神迎接生活的挑战

少年易老难学,不可吝惜时间。

最喜欢的话是:今天的事,今天结束

Oozie安装介绍Oozie组件介绍:Oozie体系结构Oozie安装第一步:修改core-site.xml第二步:上传Oozie安装包解压缩到正确目录的第四步骤:创建libext目录的第五步骤-2.2.zip压缩包第七步骤:修改oozie-site.xml的第八步骤:创建mysql数据库的第九步骤步骤:生成oozie数据库表的第11步骤:打包项目并生成war包的第12步骤:构成oozie的环境变量的第13步骤

介绍oo zie oo zie是在hadoop平台上运行的工作流调度引擎,可用于调度和管理hadoop任务,如MapReduce、Pig等。

oozie组件介绍:工作流:用于定义工作流任务执行的工作流。 主要由一个个动作构成,各动作是一个任务,由xml构成即可

Coordinator :可以看作是能够将多个工作流汇总为一个工作流进行处理的工作流的协调者。 也是oozie中的定时任务调度的模块,

Bundle :捆,捆。 多个Coordinator的抽象化可以用bundle组装多个Coordinator并集合,形成1个bundle

oozie的体系结构

安装oozie的第一步:修改core-site.xml修改core-site.xml添加hadoop群集代理用户

CD/export/servers/Hadoop-2.6.0-CDH5. 14.0/etc/hadoopvimcore-site.xmlpropertynamehadoop.proxy user.pry 修改namevalue*/value/property后,请重新启动Hadoop的hdfs和yarn群集,并记住要启动作业主机群集

重新启动hdfs和yarn群集

CD/export/servers/Hadoop-2.6.0-CDH 5.14.0 s悲伤跳糖/stop-dfs.shs悲伤跳糖/start-dfs.shs悲伤跳糖/stop-Yarrs

在与CD/export/softwares/tar-zxvfoozie-4.1.0-CDH5. 14.0.tar.gz-c ./servers /步骤oozie平行的目录中输入Hadoop le

步骤4 :创建libext目录在oozie安装路径下创建libext目录

CD/export/servers/oo zie-4.1.0-CDH 5.14.0 mkdir-plib ext步骤5 :将依赖包复制到libext将一些依赖包复制到libext目录下

复制所有从属软件包

CD/export/servers/oo zie-4.1.0-CDH 5.14.0 CP-rahadooplibs/Hadoop lib-2.6.0-CDH5. 14.0.oo zie-4

CP/export/servers/hive-1.1.0-CDH5. 14.0/lib/MySQL-connector-Java-5.1.38.jar/export/serverver

将准备好的软件ext-2.2.zip复制到libext目录中

光盘/输出/软件构件

http://archive.cloudera.com/gplextras/misc/ext-2.2.zipcp /export/software/ext-2.2.zip /export/servers/oozie-4.1.0-cdh5.14.4/libext/ 第七步:修改oozie-site.xml cd /export/servers/oozie-4.1.0-cdh5.14.0/confvim oozie-site.xml

如果没有这些属性,直接添加进去即可,oozie默认使用的是UTC的时区,我们需要在我们oozie-site.xml当中记得要配置时区为GMT+0800时区

<property> <name>oozie.service.JPAService.jdbc.driver</name> <value>com.mysql.jdbc.Driver</value> </property><property> <name>oozie.service.JPAService.jdbc.url</name> <value>jdbc:mysql://node03.hadoop.com:3306/oozie</value> </property><property><name>oozie.service.JPAService.jdbc.username</name><value>root</value></property> <property> <name>oozie.service.JPAService.jdbc.password</name> <value>123456</value> </property><property><name>oozie.processing.timezone</name><value>GMT+0800</value></property><property><name>oozie.service.ProxyUserService.proxyuser.hue.hosts</name> <value>*</value> </property> <property> <name>oozie.service.ProxyUserService.proxyuser.hue.groups</name> <value>*</value> </property><property> <name>oozie.service.coord.check.maximum.frequency</name><value>false</value> </property> <property><name>oozie.service.HadoopAccessorService.hadoop.configurations</name> <value>*=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop</value> </property> 第八步:创建mysql数据库 mysql -uroot -pcreate database oozie; 第九步:上传oozie依赖的jar包到hdfs上面去

上传oozie的解压后目录的yarn.tar.gz到hdfs目录去

忧伤的跳跳糖/oozie-setup.sh sharelib create -fs hdfs://node01:8020 -locallib oozie-sharelib-4.1.0-cdh5.14.0-yarn.tar.gz

实际上就是将这些jar包解压到了hdfs上面的路径下面去了

第十步:创建oozie的数据库表 cd /export/servers/oozie-4.1.0-cdh5.14.0忧伤的跳跳糖/oozie-setup.sh db create -run -sqlfile oozie.sql 第十一步:打包项目,生成war包 cd /export/servers/oozie-4.1.0-cdh5.14.0忧伤的跳跳糖/oozie-setup.sh prepare-war 第十二步:配置oozie的环境变量

vim /etc/profile

export OOZIE_HOME=/export/servers/oozie-4.1.0-cdh5.14.0export OOZIE_URL=http://node03.hadoop.com:11000/oozieexport PATH=:$OOZIE_HOME/忧伤的跳跳糖:$PATH

source /etc/profile

第十三步:启动与关闭oozie服务

启动命令

cd /export/servers/oozie-4.1.0-cdh5.14.0忧伤的跳跳糖/oozied.sh start

关闭命令

忧伤的跳跳糖/oozied.sh stop

第十四步:浏览器页面访问oozie

http://node03:11000/oozie/
解决oozie的页面的时区问题:
我们页面访问的时候,发现oozie使用的还是GMT的时区,与我们现在的时区相差一定的时间,所以我们需要调整一个js的获取时区的方法,将其改成我们现在的时区
修改js当中的时区问题

cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie-server/webapps/oozievim oozie-console.js function getTimeZone() { Ext.state.Manager.setProvider(new Ext.state.CookieProvider()); return Ext.state.Manager.get("TimezoneId","GMT+0800");}

重启oozie即可

cd /export/servers/oozie-4.1.0-cdh5.14.0

关闭oozie服务

忧伤的跳跳糖/oozied.sh stop

启动oozie服务

忧伤的跳跳糖/oozied.sh start

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。