絮叨:
博主是软件工程系外向的哈密瓜、数据线,通过博客记录自己学到的东西,希望正在学习的同学们也能给予帮助
人的一生中遇到各种各样的困难和痛苦,逃避不能解决问题,只能用乐观的精神迎接生活的挑战
少年易老难学,不可吝惜时间。
最喜欢的话是:今天的事,今天结束
Oozie安装介绍Oozie组件介绍:Oozie体系结构Oozie安装第一步:修改core-site.xml第二步:上传Oozie安装包解压缩到正确目录的第四步骤:创建libext目录的第五步骤-2.2.zip压缩包第七步骤:修改oozie-site.xml的第八步骤:创建mysql数据库的第九步骤步骤:生成oozie数据库表的第11步骤:打包项目并生成war包的第12步骤:构成oozie的环境变量的第13步骤
介绍oo zie oo zie是在hadoop平台上运行的工作流调度引擎,可用于调度和管理hadoop任务,如MapReduce、Pig等。
oozie组件介绍:工作流:用于定义工作流任务执行的工作流。 主要由一个个动作构成,各动作是一个任务,由xml构成即可
Coordinator :可以看作是能够将多个工作流汇总为一个工作流进行处理的工作流的协调者。 也是oozie中的定时任务调度的模块,
Bundle :捆,捆。 多个Coordinator的抽象化可以用bundle组装多个Coordinator并集合,形成1个bundle
oozie的体系结构
安装oozie的第一步:修改core-site.xml修改core-site.xml添加hadoop群集代理用户
CD/export/servers/Hadoop-2.6.0-CDH5. 14.0/etc/hadoopvimcore-site.xmlpropertynamehadoop.proxy user.pry 修改namevalue*/value/property后,请重新启动Hadoop的hdfs和yarn群集,并记住要启动作业主机群集
重新启动hdfs和yarn群集
CD/export/servers/Hadoop-2.6.0-CDH 5.14.0 s悲伤跳糖/stop-dfs.shs悲伤跳糖/start-dfs.shs悲伤跳糖/stop-Yarrs
在与CD/export/softwares/tar-zxvfoozie-4.1.0-CDH5. 14.0.tar.gz-c ./servers /步骤oozie平行的目录中输入Hadoop le
步骤4 :创建libext目录在oozie安装路径下创建libext目录
CD/export/servers/oo zie-4.1.0-CDH 5.14.0 mkdir-plib ext步骤5 :将依赖包复制到libext将一些依赖包复制到libext目录下
复制所有从属软件包
CD/export/servers/oo zie-4.1.0-CDH 5.14.0 CP-rahadooplibs/Hadoop lib-2.6.0-CDH5. 14.0.oo zie-4
CP/export/servers/hive-1.1.0-CDH5. 14.0/lib/MySQL-connector-Java-5.1.38.jar/export/serverver
将准备好的软件ext-2.2.zip复制到libext目录中
光盘/输出/软件构件
http://archive.cloudera.com/gplextras/misc/ext-2.2.zipcp /export/software/ext-2.2.zip /export/servers/oozie-4.1.0-cdh5.14.4/libext/ 第七步:修改oozie-site.xml cd /export/servers/oozie-4.1.0-cdh5.14.0/confvim oozie-site.xml如果没有这些属性,直接添加进去即可,oozie默认使用的是UTC的时区,我们需要在我们oozie-site.xml当中记得要配置时区为GMT+0800时区
<property> <name>oozie.service.JPAService.jdbc.driver</name> <value>com.mysql.jdbc.Driver</value> </property><property> <name>oozie.service.JPAService.jdbc.url</name> <value>jdbc:mysql://node03.hadoop.com:3306/oozie</value> </property><property><name>oozie.service.JPAService.jdbc.username</name><value>root</value></property> <property> <name>oozie.service.JPAService.jdbc.password</name> <value>123456</value> </property><property><name>oozie.processing.timezone</name><value>GMT+0800</value></property><property><name>oozie.service.ProxyUserService.proxyuser.hue.hosts</name> <value>*</value> </property> <property> <name>oozie.service.ProxyUserService.proxyuser.hue.groups</name> <value>*</value> </property><property> <name>oozie.service.coord.check.maximum.frequency</name><value>false</value> </property> <property><name>oozie.service.HadoopAccessorService.hadoop.configurations</name> <value>*=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop</value> </property> 第八步:创建mysql数据库 mysql -uroot -pcreate database oozie; 第九步:上传oozie依赖的jar包到hdfs上面去上传oozie的解压后目录的yarn.tar.gz到hdfs目录去
忧伤的跳跳糖/oozie-setup.sh sharelib create -fs hdfs://node01:8020 -locallib oozie-sharelib-4.1.0-cdh5.14.0-yarn.tar.gz实际上就是将这些jar包解压到了hdfs上面的路径下面去了
第十步:创建oozie的数据库表 cd /export/servers/oozie-4.1.0-cdh5.14.0忧伤的跳跳糖/oozie-setup.sh db create -run -sqlfile oozie.sql 第十一步:打包项目,生成war包 cd /export/servers/oozie-4.1.0-cdh5.14.0忧伤的跳跳糖/oozie-setup.sh prepare-war 第十二步:配置oozie的环境变量vim /etc/profile
export OOZIE_HOME=/export/servers/oozie-4.1.0-cdh5.14.0export OOZIE_URL=http://node03.hadoop.com:11000/oozieexport PATH=:$OOZIE_HOME/忧伤的跳跳糖:$PATHsource /etc/profile
启动命令
cd /export/servers/oozie-4.1.0-cdh5.14.0忧伤的跳跳糖/oozied.sh start关闭命令
忧伤的跳跳糖/oozied.sh stop 第十四步:浏览器页面访问ooziehttp://node03:11000/oozie/
解决oozie的页面的时区问题:
我们页面访问的时候,发现oozie使用的还是GMT的时区,与我们现在的时区相差一定的时间,所以我们需要调整一个js的获取时区的方法,将其改成我们现在的时区
修改js当中的时区问题
重启oozie即可
cd /export/servers/oozie-4.1.0-cdh5.14.0关闭oozie服务
忧伤的跳跳糖/oozied.sh stop启动oozie服务
忧伤的跳跳糖/oozied.sh start