Azkaban的安裝

本文作者:林偉兵撤蚊,叩丁狼高級講師奕短。原創(chuàng)文章,轉(zhuǎn)載請注明出處匀钧。

4. Azkaban-solo-server安裝

在上一節(jié)的講解中翎碑,我們已經(jīng)完成Azkaban各個模塊的編譯。如下:

$AZKABAN_SOURCE_HOME/azkaban-solo-server/build/distributions/*.tar.gz(zip)
$AZKABAN_SOURCE_HOME/azkaban-web-server/build/distributions/*.tar.gz(zip)
$AZKABAN_SOURCE_HOME/azkaban-executor-server/build/distributions/*.tar.gz(zip)

將其對應包下的.tar.gz文件拷貝到獨立的文件夾下(該文件夾用來安裝 Azkaban)并解壓之斯,并且不要忘記拷貝azkaban-db/build/distributions/xxx.sql文件(這是一個數(shù)據(jù)庫初始化的腳本文件) :

[root@azkabanvm packages]# ll
total 58276
drwxr-xr-x. 6 root root     4096 Sep 29 01:24 azkaban-exec-server-0.1.0-SNAPSHOT
-rw-r--r--. 1 root root 15767192 Sep 29 01:24 azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
drwxr-xr-x. 8 root root     4096 Sep 29 01:25 azkaban-solo-server-0.1.0-SNAPSHOT
-rw-r--r--. 1 root root 23876418 Sep 29 01:25 azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz
drwxr-xr-x. 6 root root     4096 Sep 29 01:25 azkaban-web-server-0.1.0-SNAPSHOT
-rw-r--r--. 1 root root 20009922 Sep 29 01:25 azkaban-web-server-0.1.0-SNAPSHOT.tar.gz

初始化MySQL,這里直接貼出最簡單的安裝方式:

yum install -y mysql-server
yum install -y mysql
service mysqld start

mysql> mysql -u root -p
mysql> ##第一次安裝沒有密碼  直接按Enter鍵  然后修改當前密碼
mysql> set password for 'root'@'localhost' = password('root') ;

mysql> grant all privileges on *.* to root@192.168.60.13 identified by 'root';
mysql> FLUSH PRIVILEGES;

mysql> create database azkaban;

將sql文件導入到azkaban數(shù)據(jù)庫中:

mysql> use azkaban;
mysql> source /usr/local/azkaban/packages/create-all-sql-0.1.0-SNAPSHOT.sql;

mysql> show tables;

生成秘鑰文件:

image.png

打開azkaban-solo-server-0.1.0-SNAPSHOT/conf/azkaban.properties文件(這里主要配置的是數(shù)據(jù)庫驅(qū)動和證書認證):

default.timezone.id=Asia/Shanghai

database.type=mysql
mysql.port=3306
## 這里最好配置IP地址
mysql.host=192.168.66.170
mysql.database=azkaban
mysql.user=root
mysql.password=sql_9879
mysql.numconnections=100

jetty.use.ssl=true
jetty.maxThreads=25
jetty.ssl.port=8666
jetty.port=8081
#注意這里要統(tǒng)一配置好keystore文件存儲的路徑
jetty.keystore=.../keystore
jetty.password=000000
jetty.keypassword=000000
#注意這里要統(tǒng)一配置好keystore文件存儲的路徑
jetty.truststore=.../keystore
jetty.trustpassword=000000

從azkaban.properties文件內(nèi)容可以看出還有一個文件是用來管理登錄的用戶的日杈,那就是azkaban-users.xml,我們可以在這個文件中配置密碼:

image.png

在本機的 /etc/hosts 文件中添加本機IP地址的映射:

127.0.0.1 azkabanvm

返回azkaban-solo-server-0.1.0-SNAPSHOT目錄佑刷,在這個目錄下啟動solo:

[root@azkabanvm azkaban-solo-server-0.1.0-SNAPSHOT]# bin/start-solo.sh

[root@azkabanvm azkaban-solo-server-0.1.0-SNAPSHOT]# jps
3252 Jps
3227 AzkabanSingleServer

#如果進程沒有啟動 可以在當前目錄下會自動創(chuàng)建啟動腳本的日志:
[root@azkabanvm azkaban-solo-server-0.1.0-SNAPSHOT]# cat soloServerLog__2018-09-29+18\:30\:29.out

注意:上面的solo-server會創(chuàng)建一個叫AzkabanSingleServer的進程达椰,并在啟動一會之后主動退出,這個操作可以用來檢查我們的配置文件是否正確项乒。而我們真正要啟動的是一個Executor 進程和 Web進程啰劲。

5. web/executor-server 安裝

將solo-server下的azkaban.properties文件和azkaban-users.xml文件拷貝到web/conf 文件夾下。

啟動web服務:

[root@azkabanvm azkaban-web-server-0.1.0-SNAPSHOT]# bin/start-web.sh
[root@azkabanvm azkaban-web-server-0.1.0-SNAPSHOT]# jps
3744 Jps
3336 AzkabanWebServer

從啟動的日志文件中我們也可以看到啟動的端口檀何,注意這里一定要保證防火墻是關閉的:

[root@azkabanvm azkaban-web-server-0.1.0-SNAPSHOT]# service iptables stop

在網(wǎng)頁端訪問ssl頁面:

image.png

將solo-server下的azkaban.properties文件和azkaban-users.xml文件拷貝到executor/conf 文件夾下蝇裤。

進入executor文件夾,啟動executor進程:

[root@azkabanvm azkaban-exec-server-0.1.0-SNAPSHOT]# bin/start-exec.sh 
[root@azkabanvm azkaban-exec-server-0.1.0-SNAPSHOT]# jps
3634 Jps
3607 AzkabanExecutorServer
3336 AzkabanWebServer

6. 測試第一個Job

登錄頁面后频鉴,創(chuàng)建一個Job項目栓辜。

image.png

創(chuàng)建command.job文件,內(nèi)容如下垛孔,拷貝完成后將其打包成zip文件 上傳Job項目中:

#command.job
type=command
command=echo 'hello'

執(zhí)行項目藕甩,發(fā)現(xiàn)出現(xiàn)卡頓現(xiàn)象,主要是azkaban要求執(zhí)行Job必須存在3G的內(nèi)存空間周荐,如下wiki :

If you don’t need 3GB free memory for some simple shell commands, you can also disable the memory check by setting memCheck.enabled=false in plugins/jobtypes/commonprivate.properties.

按著上面的提示可以修改executor/plugins/jobtypes/commonprivate.properties文件狭莱,將memCheck.enabled=false

此時需要重啟整個服務(包括web和executor)概作。重新執(zhí)行任務才會成功腋妙。

想獲取更多技術(shù)視頻,請前往叩丁狼官網(wǎng):http://www.wolfcode.cn/openClassWeb_listDetail.html

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末讯榕,一起剝皮案震驚了整個濱河市骤素,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌愚屁,老刑警劉巖济竹,帶你破解...
    沈念sama閱讀 206,013評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異霎槐,居然都是意外死亡送浊,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,205評論 2 382
  • 文/潘曉璐 我一進店門栽燕,熙熙樓的掌柜王于貴愁眉苦臉地迎上來罕袋,“玉大人改淑,你說我怎么就攤上這事≡⊙叮” “怎么了朵夏?”我有些...
    開封第一講書人閱讀 152,370評論 0 342
  • 文/不壞的土叔 我叫張陵,是天一觀的道長榆纽。 經(jīng)常有香客問我仰猖,道長,這世上最難降的妖魔是什么奈籽? 我笑而不...
    開封第一講書人閱讀 55,168評論 1 278
  • 正文 為了忘掉前任饥侵,我火速辦了婚禮,結(jié)果婚禮上衣屏,老公的妹妹穿的比我還像新娘躏升。我一直安慰自己,他們只是感情好狼忱,可當我...
    茶點故事閱讀 64,153評論 5 371
  • 文/花漫 我一把揭開白布膨疏。 她就那樣靜靜地躺著,像睡著了一般钻弄。 火紅的嫁衣襯著肌膚如雪佃却。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 48,954評論 1 283
  • 那天窘俺,我揣著相機與錄音饲帅,去河邊找鬼。 笑死瘤泪,一個胖子當著我的面吹牛灶泵,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播均芽,決...
    沈念sama閱讀 38,271評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼丘逸,長吁一口氣:“原來是場噩夢啊……” “哼单鹿!你這毒婦竟也來了掀宋?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 36,916評論 0 259
  • 序言:老撾萬榮一對情侶失蹤仲锄,失蹤者是張志新(化名)和其女友劉穎劲妙,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體儒喊,經(jīng)...
    沈念sama閱讀 43,382評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡镣奋,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,877評論 2 323
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了怀愧。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片侨颈。...
    茶點故事閱讀 37,989評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡余赢,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出哈垢,到底是詐尸還是另有隱情妻柒,我是刑警寧澤,帶...
    沈念sama閱讀 33,624評論 4 322
  • 正文 年R本政府宣布耘分,位于F島的核電站举塔,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏求泰。R本人自食惡果不足惜央渣,卻給世界環(huán)境...
    茶點故事閱讀 39,209評論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望渴频。 院中可真熱鬧芽丹,春花似錦、人聲如沸卜朗。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,199評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽聊替。三九已至楼肪,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間惹悄,已是汗流浹背春叫。 一陣腳步聲響...
    開封第一講書人閱讀 31,418評論 1 260
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留泣港,地道東北人暂殖。 一個月前我還...
    沈念sama閱讀 45,401評論 2 352
  • 正文 我出身青樓,卻偏偏與公主長得像当纱,于是被迫代替她去往敵國和親呛每。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 42,700評論 2 345

推薦閱讀更多精彩內(nèi)容

  • 安裝azkaban時參考了網(wǎng)上的資料坡氯,結(jié)果沒一篇能安裝成功的晨横。調(diào)試半天才成功,大部分的問題是資料版本太老箫柳,gith...
    天夭夭閱讀 4,342評論 2 0
  • 一悯恍、概述 在上一篇文章中库糠,描述了如果使用源碼對Azkaban進行編譯并打包的過程,如果用戶不想自己手動編譯涮毫,可以直...
    yannhuang閱讀 7,809評論 4 5
  • 1.創(chuàng)建元數(shù)據(jù)庫 為Azkaban創(chuàng)建一個數(shù)據(jù)庫: # Example database creation com...
    hbtszyt閱讀 1,400評論 0 1
  • 準備工作 Azkaban Web服務器 azkaban-web-server-2.5.0.tar.gz Azkab...
    小馬哥的程序之路閱讀 3,612評論 0 3
  • 安裝 Azkaban的部署方式有三種: solo server mode:即獨立部署模塊瞬欧,數(shù)據(jù)庫被嵌入H2贷屎,web...
    進擊的碼奴閱讀 1,579評論 0 0