azkaban有2種集群模式:
1.首先需要在web-server配置多節(jié)點模式
azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1
2.配置存儲模式
azkaban有2種3模式:
1).local
單機情況下使用
azkaban.storage.type=LOCAL
azkaban.storage.local.basedir=/home/az/LOCAL_STORAGE
2).db
集群君编、多節(jié)點模式
azkaban.storage.type 默認模式涉兽,上傳zip包存在db的blob字段中
3).hdfs
集群特占、多節(jié)點模式
azkaban.storage.type=HDFS
azkaban.storage.hdfs.root.uri=hdfs://nameservice1/tmp/az
hadoop.conf.dir.path=/etc/hadoop/conf
3.服務(wù)啟動
多節(jié)點集群模式需要先啟動所有exec-server,再啟動web-server
web-server是啟動時加載exec節(jié)點的,不會動態(tài)刷新(版本3.30.1)
bin/azkaban-executor-start.sh
bin/azkaban-web-start.sh