離線數據分析平臺實戰(zhàn)——170Oozie介紹及環(huán)境搭建
Oozie介紹
Oozie是一個工作流引擎服務器,用于運行Hadoop Map/Reduce和Hive等任務工作流.
同時Oozie還是一個Java Web程序,運行在Java Servlet容器中,如Tomcat中觉渴。
Oozie以action為基本任務單位腻豌，可以將多個action構成一個DAG圖（有向無環(huán)圖Direct Acyclic Graph）的模式進行運行。
Oozie工作流通過HPDL(一種通過XML自定義處理的語言)來構造Oozie的工作流响牛。
一個oozie服務器主要包括四個服務:Oozie Workflow妓湘、Oozie Coordinator查蓉、Oozie Bundle和Oozie SLA(oozie服務器等級協定)。
Oozie四大組件服務介紹
Oozie Workflow： 該組件用于定義和執(zhí)行一個特定順序的mapreduce榜贴、hive和pig作業(yè)奶是。
Oozie Coordinator：該組件用于支持基于事件、系統資源存在性等條件的workflow的自動化執(zhí)行。
Oozie Bundle：該引擎可以定義和執(zhí)行"一束"應用聂沙，從而提供一個批量化的方法，將一組Coordinator應用程序一起進行管理初嘹。
Oozie服務器等級協定(Service Level Agreement, SLA)：該組件支持workflow應用程序執(zhí)行過程的記錄跟蹤及汉。
Oozie安裝介紹
Oozie使用tomcat等服務器作為web界面展示容器，使用關系型數據庫存儲oozie的工作流元數據屯烦，默認使用debry坷随，由于debry的缺點，一般情況使用mysql作為oozie的元數據庫驻龟，使用extjs來作為報表展示js框架温眉。
安裝步驟：
- 安裝mysql
- 安裝tomcat
- 安裝oozie
Tomcat安裝
安裝步驟：
- 下載tomcat壓縮包: wget http://archive.apache.org/dist/tomcat/tomcat-7/v7.0.8/bin/apache-tomcat-7.0.8.tar.gz
- 解壓壓縮包
- 設置環(huán)境變量
- 啟動tomcat測試是否安裝成功。
Oozie安裝
安裝步驟：
- 下載oozie安裝包和ext-2.2.zip翁狐。
- 設置用戶環(huán)境變量类溢。
- 修改conf/oozie-site.xml文件進行配置信息修改。
- 在oozie根目錄下創(chuàng)建libext文件夾露懒，并將oozie依賴的其他第三方jar移動到該目錄下闯冷。
- 創(chuàng)建oozie元數據庫。
- 設置hadoop代理用戶懈词。
- 在hdfs上設置oozie的公用jar文件夾蛇耀。
- 創(chuàng)建oozie的war文件。
- 運行oozie并檢查是否安裝成坎弯。
