oozie簡單搭建

oozie搭建

下載

安裝

安裝環(huán)境

    - centOS6.6
    - Java JDK 1.7
    - Maven 3.3.9
    - hadoop-2.6.0-cdh5.4.4
    - oozie-4.1.0-cdh5.4.11.tar.gz
    - ext-2.2.zip      

編譯

直接下載編譯好的安裝包;

http://archive-primary.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.4.11.tar.gz

注意事項

  1. ExtJS版本必須是2.2版本
  2. 推薦使用Oozie這個Linux用戶。這個暫時不需要管 (有權限問題,我使用的hdfs用戶)

安裝介紹

  • 本文解壓的目錄為:/home/oozie/software/oozie-4.1.0-cdh5.4.11


    1152977299.jpg

    目錄分析:

    oozie-server-----其實就是一個tomcat
    src--------------源碼
    bin--------------腳本
    lib-------------jar包
    conf------------配置文件
    oozie.war-------oozie工程
    oozie-sharelib-.tar.gz----調(diào)用hadoop唆铐、hive等的jar包(重要)
    oozie-example-
    .tar.gz---案例

配置hadoop的core-site.xml

  • 我們的Hadoop平臺分用戶搭建hdfs搭建在hdfs用戶下吕粹,這里部署ooize用戶也使用該用戶型奥,因為使用新建oozie用戶有hdfs權限問題窒典,部署Oozie的主機名為hdp1。修改Hadoop的配置文件core-site.xml堕澄,增加如下配置內(nèi)容:

<property>
<name>hadoop.proxyuser.hdfs.hosts</name>
<value>hdp1</value>
</property>
<property>
<name>hadoop.proxyuser.hdfs.groups</name>
<value>*</value>
</property>

解壓 oozie-hadooplibs-4.1.0-cdh5.4.11.tar.gz

  • 特別注意:解壓的目錄要與oozie解壓的路徑相同邀跃,解壓完成后會在oozie根目錄下生成一個hadooplibs文件!M茏稀拍屑!

創(chuàng)建libext目錄

  • 拷貝hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6下的jar包到libext/目錄下

拷貝ext-2.2.zip到libext/目錄下

1253940190.jpg

創(chuàng)建war包并加到tomcat里

  • 執(zhí)行命令生產(chǎn)war到制定目錄

$ bin/oozie-setup.sh prepare-war


792643509.jpg

重啟hadoop進成,直到脫離安全模式

  • 先stop namenode坑傅、datanode僵驰、resourcemanager、nodemanager唁毒、historyserver蒜茴,然后再分別start。
  • 執(zhí)行如下命令

bin/oozie-setup.sh sharelib create -fs hdfs://hdp1.bjyn.com:9000 -locallib oozie-sharelib-4.1.0-cdh5.4.11-yarn.tar.gz
在 hdfs 50070 查看目錄

1286120026.jpg

初始化數(shù)據(jù)庫

bin/ooziedb.sh create -sqlfile oozie.sql
bin/oozie-setup.sh db create -run -sqlfile /home/hdfs/software/oozie-4.1.0-cdh5.4.11/oozie.sql

319659483.jpg
1085671577.jpg

啟動oozie守護進程Bootsrap

$ bin/oozied.sh start 后臺啟動
$ bin/oozie-run.sh 前臺運行
$ bin/oozie admin -oozie http://localhost:11000/oozie -status 驗證服務啟動狀態(tài)

1713114422.jpg

查看界面

  • ip:11000/oozie/
1880644795.jpg

參考:http://archive-primary.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.4.11/DG_QuickStart.html

http://cache.baiducontent.com/c?m=9d78d513d99217f54fede523505e8c310e54f1744cd5c7657fc3e54d841459550026bdb47d645646c4c40f7a1cff1701bfe73605664276eb8cc8ff168afd8f6268c26062274ad14219d912b29806639a71ce0df4f94ea1e9ab6cd2b3d5d1de5f52cb5800&p=843dc64ad4934eaf58e88c2c5b4a90&newp=9a769a478b934eaf58e8d0255241c9231610db2151d6d7176b82c825d7331b001c3bbfb423241202d1c37d6402ae4b58ecf7327233092ba3dda5c91d9fb4c57479d5&user=baidu&fm=sc&query=cdh+oozie+%B0%B2%D7%B0&qid=e7447d9100016caf&p1=7

最后編輯于
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末枉证,一起剝皮案震驚了整個濱河市矮男,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌室谚,老刑警劉巖毡鉴,帶你破解...
    沈念sama閱讀 219,188評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異秒赤,居然都是意外死亡猪瞬,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,464評論 3 395
  • 文/潘曉璐 我一進店門入篮,熙熙樓的掌柜王于貴愁眉苦臉地迎上來陈瘦,“玉大人,你說我怎么就攤上這事潮售∪睿” “怎么了?”我有些...
    開封第一講書人閱讀 165,562評論 0 356
  • 文/不壞的土叔 我叫張陵酥诽,是天一觀的道長鞍泉。 經(jīng)常有香客問我,道長肮帐,這世上最難降的妖魔是什么咖驮? 我笑而不...
    開封第一講書人閱讀 58,893評論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮训枢,結果婚禮上托修,老公的妹妹穿的比我還像新娘。我一直安慰自己恒界,他們只是感情好睦刃,可當我...
    茶點故事閱讀 67,917評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著十酣,像睡著了一般涩拙。 火紅的嫁衣襯著肌膚如雪枣宫。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,708評論 1 305
  • 那天吃环,我揣著相機與錄音也颤,去河邊找鬼。 笑死郁轻,一個胖子當著我的面吹牛翅娶,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播好唯,決...
    沈念sama閱讀 40,430評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼竭沫,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了骑篙?” 一聲冷哼從身側響起蜕提,我...
    開封第一講書人閱讀 39,342評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎靶端,沒想到半個月后谎势,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,801評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡杨名,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,976評論 3 337
  • 正文 我和宋清朗相戀三年脏榆,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片台谍。...
    茶點故事閱讀 40,115評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡须喂,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出趁蕊,到底是詐尸還是另有隱情坞生,我是刑警寧澤,帶...
    沈念sama閱讀 35,804評論 5 346
  • 正文 年R本政府宣布掷伙,位于F島的核電站是己,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏炎咖。R本人自食惡果不足惜赃泡,卻給世界環(huán)境...
    茶點故事閱讀 41,458評論 3 331
  • 文/蒙蒙 一寒波、第九天 我趴在偏房一處隱蔽的房頂上張望乘盼。 院中可真熱鬧,春花似錦俄烁、人聲如沸绸栅。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,008評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽粹胯。三九已至蓖柔,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間风纠,已是汗流浹背况鸣。 一陣腳步聲響...
    開封第一講書人閱讀 33,135評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留竹观,地道東北人镐捧。 一個月前我還...
    沈念sama閱讀 48,365評論 3 373
  • 正文 我出身青樓,卻偏偏與公主長得像臭增,于是被迫代替她去往敵國和親懂酱。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,055評論 2 355

推薦閱讀更多精彩內(nèi)容

  • 1、運行環(huán)境 主機IP 主機名 2、配置主機名(分別在五臺機器上執(zhí)行) hostname +主機名例如: h...
    獻給記性不好的自己閱讀 3,557評論 0 6
  • 為什么需要任務調(diào)度框架 在進行數(shù)據(jù)處理的時候嫡霞,需要進行數(shù)據(jù)采集震檩、數(shù)據(jù)清洗、數(shù)據(jù)分析等操作怔蚌,每一個過程都可能涉及到多...
    心_的方向閱讀 6,214評論 1 6
  • 最近在研究數(shù)據(jù)挖掘相關的東西,在本地 Mac 環(huán)境搭建了一套偽分布式的 hadoop 開發(fā)環(huán)境,采用CDH發(fā)行版本...
    Edward_Koios閱讀 9,809評論 3 9
  • 連續(xù)上班兩個月默刚,實在是疲憊,百噸庫存逃魄,每天都在思考如何銷售庫里的商品荤西。越來越感覺到生活模式太單調(diào)了,家里-公交-...
    k承龍閱讀 545評論 0 50
  • 若說春天被各種鮮花裝扮 獨愛路邊的野花 美麗而不妖艷 若你彎下腰細心的和它對話 未語心已動 它如此之美 沒有任何的...
    幸福的李慧閱讀 367評論 2 1