必備軟件
yum install git -y
單機(jī)安裝步驟
git clone https://github.com/azkaban/azkaban.git
cd azkaban; ./gradlew build installDist
cd azkaban-solo-server/build/install/azkaban-solo-server; bin/start-solo.sh
# open http://localhost:8081/
bin/shutdown-solo.sh
# 當(dāng)然逝钥，這個也需要你的網(wǎng)絡(luò)環(huán)境比較好泻仙，如果是公司網(wǎng)絡(luò)限制比較多的話糕再，可能出現(xiàn)無法編譯的情況，比如無法訪問gradle的plugin站點等玉转。
多執(zhí)行器模式安裝
文件下載
方法1：下載azkaban代碼亿鲜，編譯。
git clone https://github.com/azkaban/azkaban.git
or
git clone https://gitee.com/mirrors/azkaban.git
cd azkaban; ./gradlew build installDist
cd azkaban-db; ../gradlew build installDist
# 當(dāng)然冤吨，這個也需要你的網(wǎng)絡(luò)環(huán)境比較好蒿柳，如果是公司網(wǎng)絡(luò)限制比較多的話，可能出現(xiàn)無法編譯的情況漩蟆，比如無法訪問gradle的plugin站點等垒探。
方法2：直接下載別人編譯好的版本進(jìn)行安裝
https://pan.baidu.com/s/1tq8FLME2zHR539sTAZUw2A | zkl9
這個共享包里是基于2.5.0的版本，下載下來三個文件：
azkaban-executor-2.5.0.zip azkaban-web-2.5.0.zip azkaban-sql-script-2.5.0.tar.gz
登陸mysql, 設(shè)置編碼為utf8, 為Azkaban創(chuàng)建數(shù)據(jù)庫, 并授權(quán), 導(dǎo)入腳本
azkaban官方建議使用mysql作為后端的數(shù)據(jù)存儲db怠李，使用如下命令創(chuàng)建azkaban的數(shù)據(jù)庫:
mysql -uroot -p123456;
mysql> CREATE DATABASE azkaban;
CREATE USER 'azkaban'@'%' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'azkaban'@'192.168.56.3' IDENTIFIED BY '123456';
flush privileges;
source /usr/local/azkaban/azkaban-sql/create-all-sql-2.5.0.sql;
創(chuàng)建SSL配置
keytool -keystore keystore -alias jetty -genkey -keyalg RSA # (記住密碼)
cp keystore /usr/local/azkaban/azkaban-web #將當(dāng)前目錄生成 keystore證書文件拷貝到web服務(wù)器根目錄中
tzselect #使用交互式命令設(shè)置時區(qū)(Asia/Shanghai, 選北京就是上海)
輸入密鑰庫口令:
密鑰庫口令太短 - 至少必須為 6 個字符
輸入密鑰庫口令:
再次輸入新口令:
您的名字與姓氏是什么?
[Unknown]: cao
您的組織單位名稱是什么?
[Unknown]: parllay
您的組織名稱是什么?
[Unknown]: fenghuotai
您所在的城市或區(qū)域名稱是什么?
[Unknown]: beijing
您所在的省/市/自治區(qū)名稱是什么?
[Unknown]: beijing
該單位的雙字母國家/地區(qū)代碼是什么?
[Unknown]: CN
CN=cao, OU=parllay, O=fenghuotai, L=beijing, ST=beijing, C=CN是否正確?[否]: Y
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime #拷貝該時區(qū)文件圾叼，覆蓋系統(tǒng)本地時區(qū)配置
zkaban web服務(wù)器配置及用戶配置, 進(jìn)入web服務(wù)器安裝目錄conf
web服務(wù)器配置如下:
vim azkaban.properties
#Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai
#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
database.type=mysql
mysql.port=3306
mysql.host=192.168.33.205
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=keystore
jetty.password=111111
jetty.keypassword=111111
jetty.truststore=keystore
jetty.trustpassword=111111
# Azkaban Executor settings
executor.port=12321
# mail settings
# 發(fā)送郵箱
mail.sender=
#發(fā)送郵箱smtp地址
mail.host=
# 任務(wù)失敗時發(fā)送郵件的地址
job.failure.email=
# 任務(wù)成功時發(fā)送郵件的地址
job.success.email=
lockdown.create.projects=false
cache.directory=cache
用戶配置如下:
vim azkaban-users.xml
<azkaban-users>
<user username="azkaban" password="azkaban" roles="admin" groups="azkaban"/>
<user username="metrics" password="metrics" roles="metrics"/>
<!-- 設(shè)置登錄 https://192.168.56.3:8443的賬號和密碼 -->
<user username="admin" password="admin" roles="admin,metrics"/>
<role name="admin" permissions="ADMIN" />
<role name="metrics" permissions="METRICS"/>
</azkaban-users>
azkaban executor服務(wù)器配置, 進(jìn)入執(zhí)行服務(wù)器安裝目錄conf
vim azkaban.properties
#Azkaban
default.timezone.id=Asia/Shanghai
# Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=plugins/jobtypes
#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
database.type=mysql
mysql.port=3306
mysql.host=192.168.33.205
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100
# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30
啟動各個服務(wù)器
azkaban web服務(wù)器的啟動與關(guān)閉, 注意: 只能在web服務(wù)器根目錄運行
bin/azkaban-web-start.sh
bin/azkaban-web-shutdown.sh
# 如果是正式環(huán)境可以采用nohup的方式手動啟動
azkaban executor服務(wù)器的啟動與關(guān)閉, 注意: 只能在執(zhí)行服務(wù)器根目錄運行
bin/azkaban-executor-start.sh
bin/azkaban-executor-shutdown.sh
# 如果是正式環(huán)境可以采用nohup的方式手動啟動
登錄Web用戶界面, 進(jìn)行操作
網(wǎng)址示例: https://192.168.56.3:8443
Azkaban實戰(zhàn)
Azkaba內(nèi)置的任務(wù)類型支持 command、java捺癞， 我們可以安裝python夷蚊、datax、sqoop等工具髓介，進(jìn)行擴(kuò)展惕鼓。
簡單示例， 操作步驟:
創(chuàng)建 job描述文件
command類型單一job示例
vim command.job
# command.job
type=command
command=echo 'hello'
command類型多job工作流flow示例
vim foo.job
# foo.job
type=command
command=echo foo
# bar.job
type=command
dependencies=foo
command=echo bar
HDFS操作任務(wù)示例
vim fs.job
# fs.job
type=command
command=hadoop fs -mkdir /azkaban
MapReduce任務(wù)示例
vim mrwc.job
# mrwc.job
type=command
# 也可以將jar包放在mrwc.job的同級目錄下, 與其一起壓縮為zip文件
command=hadoop jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input/a.txt /input/output
HIVE腳本任務(wù)示例
vim hivef.job vim test.sql
# hivef.job
type=command
command=hive -f 'test.sql'
create database test_db;
將所有 job資源文件打包壓縮成 zip文件, 登錄 azkaban的 web管理平臺, 上傳, 執(zhí)行
啟動azkaban遇到問題解決
啟動exec-server異常
異常：java.io.FileNotFoundException: conf/global.properties (沒有那個文件或目錄)
解決方法：vim azkaban.properties 修改 executor.global.properties 為絕對路徑
啟動exec-web異常
異常：
java.lang.RuntimeException:java.lang.reflect.InvocationTargetException
解決方法：vim azkaban.properties 修改 user.manager.xml.file 為絕對路徑
