oozie搭建
下載
- http://archive-primary.cloudera.com/cdh5/cdh/5/
- 全部采用cdh版本搭建
- oozie-4.1.0-cdh5.4.11.tar.gz
安裝
安裝環(huán)境
- centOS6.6
- Java JDK 1.7
- Maven 3.3.9
- hadoop-2.6.0-cdh5.4.4
- oozie-4.1.0-cdh5.4.11.tar.gz
- ext-2.2.zip
編譯
直接下載編譯好的安裝包;
http://archive-primary.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.4.11.tar.gz
注意事項
- ExtJS版本必須是2.2版本
- 推薦使用Oozie這個Linux用戶。這個暫時不需要管 (有權限問題,我使用的hdfs用戶)
安裝介紹
-
本文解壓的目錄為:/home/oozie/software/oozie-4.1.0-cdh5.4.11
1152977299.jpg
目錄分析:
oozie-server-----其實就是一個tomcat
src--------------源碼
bin--------------腳本
lib-------------jar包
conf------------配置文件
oozie.war-------oozie工程
oozie-sharelib-.tar.gz----調(diào)用hadoop唆铐、hive等的jar包(重要)
oozie-example-.tar.gz---案例
配置hadoop的core-site.xml
- 我們的Hadoop平臺分用戶搭建hdfs搭建在hdfs用戶下吕粹,這里部署ooize用戶也使用該用戶型奥,因為使用新建oozie用戶有hdfs權限問題窒典,部署Oozie的主機名為hdp1。修改Hadoop的配置文件core-site.xml堕澄,增加如下配置內(nèi)容:
<property>
<name>hadoop.proxyuser.hdfs.hosts</name>
<value>hdp1</value>
</property>
<property>
<name>hadoop.proxyuser.hdfs.groups</name>
<value>*</value>
</property>
解壓 oozie-hadooplibs-4.1.0-cdh5.4.11.tar.gz
- 特別注意:解壓的目錄要與oozie解壓的路徑相同邀跃,解壓完成后會在oozie根目錄下生成一個hadooplibs文件!M茏稀拍屑!
創(chuàng)建libext目錄
- 拷貝hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6下的jar包到libext/目錄下
拷貝ext-2.2.zip到libext/目錄下
創(chuàng)建war包并加到tomcat里
- 執(zhí)行命令生產(chǎn)war到制定目錄
$ bin/oozie-setup.sh prepare-war
792643509.jpg
重啟hadoop進成,直到脫離安全模式
- 先stop namenode坑傅、datanode僵驰、resourcemanager、nodemanager唁毒、historyserver蒜茴,然后再分別start。
- 執(zhí)行如下命令
bin/oozie-setup.sh sharelib create -fs hdfs://hdp1.bjyn.com:9000 -locallib oozie-sharelib-4.1.0-cdh5.4.11-yarn.tar.gz
在 hdfs 50070 查看目錄
初始化數(shù)據(jù)庫
bin/ooziedb.sh create -sqlfile oozie.sql
bin/oozie-setup.sh db create -run -sqlfile /home/hdfs/software/oozie-4.1.0-cdh5.4.11/oozie.sql
啟動oozie守護進程Bootsrap
$ bin/oozied.sh start 后臺啟動
$ bin/oozie-run.sh 前臺運行
$ bin/oozie admin -oozie http://localhost:11000/oozie -status 驗證服務啟動狀態(tài)
查看界面
- ip:11000/oozie/
參考:http://archive-primary.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.4.11/DG_QuickStart.html