介绍oo zie oo zie是在hadoop平台上运行的工作流调度引擎,可用于调度和管理hadoop任务,如MapReduce、Pig等。
3358 www.Sina.com/http://www.Sina.com/workflow :用于定义工作流任务运行的工作流。 主要由一个个操作组成,每个操作都是一个任务,配置为xml即可
Coordinator :可以看作是能够将多个工作流汇总为一个工作流进行处理的工作流的协调者。 也是oozie中的定时任务调度的模块,
Bundle :捆,捆。 多个Coordinator的抽象化可以用bundle组装多个Coordinator并集合,形成1个bundle
http://www.Sina.com/http://www.Sina.com /
修改3358 www.Sina.com/http://www.Sina.com/http://www.Sina.com/core-site.XML以添加hadoop群集代理用户
CD/export/servers/Hadoop-2.6.0-CDH5. 14.0/etc/hadoopvimcore-site.xmlpropertynamehadoop.proxy user.pry namevalue*/value/property注意:必须启动hadoop历史记录任务的服务。 也就是说,可以在19888端口上确认。 具体的构成方法是198888
更改完成后,请重新启动hadoop的hdfs和yarn群集,并记住要启动作业历史
重新启动hdfs和yarn群集
CD/export/servers/Hadoop-2.6.0-CDH5. 14.0 sxldwx/stop-DFS.shsxldwx/start-DFS.shsxldwx/stop-yarayard
将http://www.Sina.com/http://www.Sina.com/http://www.Sina.com/oo zie安装软件包上载到/export/softwares
CD/export/softwares/tar-zxvfoozie-4.1.0-CDH5. 14.0.tar.gz-c ./servers /
3358 www.Sina.com/http://www.Sina.com/http://www.Sina.com/CD/export/servers/oo zie
http://www.Sina.com/http://www.Sina.com /
in-left:0pt;">在oozie的安装路径下创建libext目录 cd /export/servers/oozie-4.1.0-cdh5.14.0mkdir -p libext第五步:拷贝依赖包到libext
拷贝一些依赖包到libext目录下面去
拷贝所有的依赖包
cd /export/servers/oozie-4.1.0-cdh5.14.0cp -ra hadooplibs/hadooplib-2.6.0-cdh5.14.0.oozie-4.1.0-cdh5.14.0/* libext/拷贝mysql的驱动包
cp /export/servers/hive-1.1.0-cdh5.14.0/lib/mysql-connector-java-5.1.38.jar /export/servers/oozie-4.1.0-cdh5.14.0/libext/ 第六步:添加ext-2.2.zip压缩包拷贝ext-2.2.zip这个包到libext目录当中去
将我们准备好的软件ext-2.2.zip拷贝到libext目录当中去
第七步:修改oozie-site.xml cd /export/servers/oozie-4.1.0-cdh5.14.0/confvim oozie-site.xml
如果没有这些属性,直接添加进去即可,oozie默认使用的是UTC的时区,我们需要在我们oozie-site.xml当中记得要配置时区为GMT+0800时区
<property> <name>oozie.service.JPAService.jdbc.driver</name> <value>com.mysql.jdbc.Driver</value> </property><property> <name>oozie.service.JPAService.jdbc.url</name> <value>jdbc:mysql://node03.hadoop.com:3306/oozie</value> </property><property><name>oozie.service.JPAService.jdbc.username</name><value>root</value></property> <property> <name>oozie.service.JPAService.jdbc.password</name> <value>123456</value> </property><property><name>oozie.processing.timezone</name><value>GMT+0800</value></property><property><name>oozie.service.ProxyUserService.proxyuser.hue.hosts</name> <value>*</value> </property> <property> <name>oozie.service.ProxyUserService.proxyuser.hue.groups</name> <value>*</value> </property><property> <name>oozie.service.coord.check.maximum.frequency</name><value>false</value> </property> <property><name>oozie.service.HadoopAccessorService.hadoop.configurations</name> <value>*=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop</value> </property> 第八步:创建mysql数据库 mysql -uroot -pcreate database oozie;第九步:上传oozie依赖的jar包到hdfs上面去
上传oozie的解压后目录的yarn.tar.gz到hdfs目录去
xldwx/oozie-setup.sh sharelib create -fs hdfs://node01:8020 -locallib oozie-sharelib-4.1.0-cdh5.14.0-yarn.tar.gz实际上就是将这些jar包解压到了hdfs上面的路径下面去了
第十步:创建oozie的数据库表 cd /export/servers/oozie-4.1.0-cdh5.14.0xldwx/oozie-setup.sh db create -run -sqlfile oozie.sql 第十一步:打包项目,生成war包 cd /export/servers/oozie-4.1.0-cdh5.14.0xldwx/oozie-setup.sh prepare-war第十二步:配置oozie的环境变量 vim /etc/profile export OOZIE_HOME=/export/servers/oozie-4.1.0-cdh5.14.0export OOZIE_URL=http://node03.hadoop.com:11000/oozieexport PATH=:$OOZIE_HOME/xldwx:$PATH source /etc/profile
第十三步:启动与关闭oozie服务
启动命令
cd /export/servers/oozie-4.1.0-cdh5.14.0xldwx/oozied.sh start关闭命令
xldwx/oozied.sh stop第十四步:浏览器页面访问oozie
http://node03:11000/oozie/
解决oozie的页面的时区问题:
我们页面访问的时候,发现oozie使用的还是GMT的时区,与我们现在的时区相差一定的时间,所以我们需要调整一个js的获取时区的方法,将其改成我们现在的时区
修改js当中的时区问题
cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie-server/webapps/oozievim oozie-console.js function getTimeZone() { Ext.state.Manager.setProvider(new Ext.state.CookieProvider()); return Ext.state.Manager.get("TimezoneId","GMT+0800");}重启oozie即可
cd /export/servers/oozie-4.1.0-cdh5.14.0关闭oozie服务
xldwx/oozied.sh stop启动oozie服务
xldwx/oozied.sh start