一硼被、概述
Azkaban項(xiàng)目由以下兩個(gè)工程組成
- Azkaban:包括exec和web等工程示损,如果是單機(jī)版,則使用solo工程嚷硫,源碼地址:
官網(wǎng)社區(qū)版:https://github.com/azkaban/azkaban
二次開發(fā)版:https://github.com/huangyanxiong/DeAzkaban
- Azkaban-plugins:包含azkaban支持的各種插件检访,比如 hadoopMR、hive仔掸、spark 等脆贵,也可以自定義 plugin,源碼地址:
官網(wǎng)社區(qū)版:https://github.com/azkaban/azkaban-plugins
二次開發(fā)版:https://github.com/huangyanxiong/DeAzkaban-plugins
編譯以上兩個(gè)工程需要準(zhǔn)備以下軟件(在win7下編譯通過):
- Jdk:jdk-8u101-windows-x64.exe
- Git:git-2.9.0-64-bit.exe 和 TortoiseGit-2.1.0.0-64bit.msi
- Gradle:gradle-2.14-bin.zip
- Ant:apache-ant-1.9.7-bin.zip
- IDE:ideaIC-14.1.1.exe
下載地址:百度云鏈接:http://pan.baidu.com/s/1hs64HjI 密碼:awv0
筆者已經(jīng)把編譯好的工程放到下載地址里了起暮,如果需要自己編譯卖氨,請(qǐng)把在 編譯工具 目錄下找到對(duì)應(yīng)的軟件。
為了順利安裝Azkaban负懦,需要完成以下準(zhǔn)備工作:
- 安裝jdk8筒捺,需要在oracle官網(wǎng)下載jdk8的Java Cryptography Extension(JCE),覆蓋$JAVA_HOME\jre\lib\security下面的local_policy.jar 和 US_export_policy.jar文件纸厉,下載地址是:http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.html
- 安裝ideaIC-14.1.1.exe系吭、git-2.9.0-64-bit.exe、TortoiseGit-2.1.0.0-64bit.msi 雙擊直接安裝
- 安裝gradle-2.14-bin.zip颗品、apache-ant-1.9.7-bin.zip肯尺,解壓縮后配置環(huán)境變量
-
把a(bǔ)zkaban源碼包和plugin源碼包解壓到指定目錄下沃缘,如下圖所示
Azkaban解壓后的目錄
二、編譯Azkaban
1则吟、進(jìn)入azkaban-master文件夾槐臀,右鍵可以看到:Git Bash Here
2、點(diǎn)擊Git Bash Here氓仲,彈出window下的命令行界面
3水慨、執(zhí)行命令:./gradlew distTar -x test
該命令在構(gòu)建環(huán)境,需要下載依賴的包寨昙,網(wǎng)絡(luò)不好的情況下讥巡,耗時(shí)會(huì)比較長(zhǎng),需要耐心等待舔哪。直到最后出現(xiàn)一下界面才是構(gòu)建成功
4欢顷、構(gòu)建成功后,在 azkaban-master\azkaban-solo-server\build\distributions目錄下可以看到生成了azkaban-solo-server-3.10.0.tar.gz 文件捉蚤,該文件就是azkaban的主安裝文件抬驴。拷貝該文件到linux下用于后續(xù)安裝缆巧。
5布持、使用idea打開azkaban-master工程,如下:
三陕悬、編譯Azkaban-plugins
1题暖、進(jìn)入azkaban-plugins-master文件夾,在plugin子目錄下可以看到以下目錄
以上圖片中紅框內(nèi)的工程是需要編譯的捉超。
2胧卤、進(jìn)入 hadoopsecuritymanager-common目錄,執(zhí)行ant命令
3拼岳、進(jìn)入 hadoopsecuritymanager目錄枝誊,執(zhí)行ant命令
4、進(jìn)入 hadoopsecuritymanager-yarn目錄惜纸,執(zhí)行ant命令
5叶撒、進(jìn)入 crypto目錄,執(zhí)行ant package-crypto命令
6耐版、進(jìn)入 jobtype 目錄祠够,執(zhí)行ant package-jobtype 命令
7、以上編譯都成功后椭更,會(huì)在dist目錄下生成編譯后的壓縮包哪审,找到azkaban-plugins-master\dist\jobtype\packages目錄下的azkaban-jobtype-3.0.0.tar.gz文件,該文件是azkaban的插件包虑瀑,拷貝到linux下湿滓,用于后續(xù)安裝。
8舌狗、使用idea打開工程叽奥,打開后需要做以下設(shè)置:
(1)第一步:Add crypto as Library
(2)第二步:Add jobtype as Library
(3)第三步:Mark Directory As Souruces Root