storm開(kāi)機(jī)自啟以及常用Shell腳本

storm自身不支持開(kāi)機(jī)自啟和集群整體啟動(dòng)和關(guān)閉的功能,當(dāng)集群包含很多節(jié)點(diǎn)時(shí)管理起來(lái)會(huì)很麻煩盟迟。本文介紹了批量啟動(dòng)和停止集群所有節(jié)點(diǎn)的腳本以及設(shè)置storm開(kāi)機(jī)自啟秋泳。

一、設(shè)置節(jié)點(diǎn)間無(wú)密碼訪問(wèn)
為了實(shí)現(xiàn)批量啟動(dòng)和停止攒菠,需要提前配置好各節(jié)點(diǎn)間的無(wú)密碼訪問(wèn)迫皱,具體方法詳見(jiàn)我以前的帖子或者問(wèn)度娘,這里不再介紹要尔。
二舍杜、(主節(jié)點(diǎn))切換當(dāng)前路徑到storm的bin目錄下新娜,并創(chuàng)建以下腳本和文件。

cd /software/storm/apache-storm-0.9.2-incubating/bin
touch start-supervisor.sh
touch start-all.sh
touch stop-supervisor.sh
touch stop-all.sh
touch supervisor-hosts

賦予以上腳本可執(zhí)行權(quán)限

chmod +x *.sh

三既绩、腳本編寫(xiě)
1概龄、start-supervisor.sh

#!/bin/bash
. /etc/profile

# storm的bin目錄
bin=/software/storm/apache-storm-0.9.2-incubating/bin
supervisors=$bin/supervisor-hosts

storm nimbus >/dev/null 2>&1 &
storm ui >/dev/null 2>&1 &

 cat $supervisors | while read supervisor
 do
        echo $supervisor
        ssh $supervisor $bin/start-supervisor.sh &
 done

2、start-supervisor.sh

#!/bin/bash
. /etc/profile

storm supervisor >/dev/null 2>&1 &

3饲握、stop-all.sh

#!/bin/bash
. /etc/profile

# storm的bin目錄
bin=/software/storm/apache-storm-0.9.2-incubating/bin
supervisors=$bin/supervisor-hosts

kill -9 `ps -ef|grep daemon.nimbus| awk '{print $2}'`
kill -9 `ps -ef|grep ui.core| awk '{print $2}'`

 cat $supervisors | while read supervisor
 do
        echo $supervisor
        ssh $supervisor $bin/stop-supervisor.sh &
 done

4私杜、stop-supervisor.sh

#!/bin/bash
. /etc/profile

kill -9 `ps -ef|grep daemon.supervisor| awk '{print $2}'`

# 這里我直接清理了storm的工作路徑和log文件,根據(jù)自身需要來(lái)設(shè)置
rm -rf /software/storm/workdir/*
rm -rf /software/storm/apache-storm-0.9.2-incubating/logs/*

5救欧、supervisor-hosts
文件中寫(xiě)入所有節(jié)點(diǎn)的主機(jī)名或者ip衰粹,格式如下:

storm1
storm2
storm3

四、腳本的使用

腳本需要在主節(jié)點(diǎn)上使用笆怠。為了便于使用铝耻,請(qǐng)確保環(huán)境變量中已經(jīng)加入storm的bin目錄。

將上文編輯好的start-supervisor和stop-supervisor腳本復(fù)制到所有節(jié)點(diǎn)相同路徑下蹬刷。

scp *-supervisor.sh storm2:/software/storm/apache-storm-0.9.2-incubating/bin
scp *-supervisor.sh storm3:/software/storm/apache-storm-0.9.2-incubating/bin
  • 啟動(dòng)集群中所有節(jié)點(diǎn)supervisor進(jìn)程瓢捉,并在主節(jié)點(diǎn)上啟動(dòng)nimbus和ui進(jìn)程
start-all.sh
  • 停止集群中所有節(jié)點(diǎn)supervisor進(jìn)程,并停止nimbus和ui進(jìn)程
stop-all.sh

五、設(shè)置開(kāi)機(jī)自啟
要實(shí)現(xiàn)storm開(kāi)機(jī)自啟办成,比較簡(jiǎn)單的方法就是開(kāi)機(jī)自動(dòng)運(yùn)行下之前的start-all腳本泡态,設(shè)置方法如下

vi /etc/rc.d/rc.local 

添加執(zhí)行腳本

#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.

touch /var/lock/subsys/local

sh /software/storm/apache-storm-0.9.2-incubating/bin/start-all.sh
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市迂卢,隨后出現(xiàn)的幾起案子某弦,更是在濱河造成了極大的恐慌,老刑警劉巖而克,帶你破解...
    沈念sama閱讀 210,978評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件靶壮,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡拍摇,警方通過(guò)查閱死者的電腦和手機(jī)亮钦,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,954評(píng)論 2 384
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)充活,“玉大人蜂莉,你說(shuō)我怎么就攤上這事』炻眩” “怎么了映穗?”我有些...
    開(kāi)封第一講書(shū)人閱讀 156,623評(píng)論 0 345
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)幕随。 經(jīng)常有香客問(wèn)我蚁滋,道長(zhǎng),這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,324評(píng)論 1 282
  • 正文 為了忘掉前任辕录,我火速辦了婚禮睦霎,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘走诞。我一直安慰自己副女,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,390評(píng)論 5 384
  • 文/花漫 我一把揭開(kāi)白布蚣旱。 她就那樣靜靜地躺著碑幅,像睡著了一般。 火紅的嫁衣襯著肌膚如雪塞绿。 梳的紋絲不亂的頭發(fā)上沟涨,一...
    開(kāi)封第一講書(shū)人閱讀 49,741評(píng)論 1 289
  • 那天,我揣著相機(jī)與錄音异吻,去河邊找鬼裹赴。 笑死,一個(gè)胖子當(dāng)著我的面吹牛涧黄,可吹牛的內(nèi)容都是我干的篮昧。 我是一名探鬼主播,決...
    沈念sama閱讀 38,892評(píng)論 3 405
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼笋妥,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了窄潭?” 一聲冷哼從身側(cè)響起春宣,我...
    開(kāi)封第一講書(shū)人閱讀 37,655評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎嫉你,沒(méi)想到半個(gè)月后月帝,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,104評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡幽污,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,451評(píng)論 2 325
  • 正文 我和宋清朗相戀三年嚷辅,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片距误。...
    茶點(diǎn)故事閱讀 38,569評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡簸搞,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出准潭,到底是詐尸還是另有隱情趁俊,我是刑警寧澤,帶...
    沈念sama閱讀 34,254評(píng)論 4 328
  • 正文 年R本政府宣布刑然,位于F島的核電站寺擂,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜怔软,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,834評(píng)論 3 312
  • 文/蒙蒙 一垦细、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧挡逼,春花似錦括改、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,725評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至乘盖,卻和暖如春焰檩,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背订框。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,950評(píng)論 1 264
  • 我被黑心中介騙來(lái)泰國(guó)打工析苫, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人穿扳。 一個(gè)月前我還...
    沈念sama閱讀 46,260評(píng)論 2 360
  • 正文 我出身青樓衩侥,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親矛物。 傳聞我的和親對(duì)象是個(gè)殘疾皇子茫死,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,446評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容

  • storm啟停腳本的編寫(xiě): 第一步:在master節(jié)點(diǎn)創(chuàng)建start-supervisor.sh腳本,然后分發(fā)到各...
    夙夜M閱讀 685評(píng)論 0 0
  • 1. Storm介紹: Storm是實(shí)時(shí)流計(jì)算框架履羞。企業(yè)中典型實(shí)時(shí)分析框架搭建模式: Flume + Kafka ...
    奉先閱讀 1,650評(píng)論 0 3
  • 目錄 場(chǎng)景假設(shè) 調(diào)優(yōu)步驟和方法 Storm 的部分特性 Storm 并行度 Storm 消息機(jī)制 Storm UI...
    mtide閱讀 17,060評(píng)論 30 60
  • Date: Nov 17-24, 2017 1. 目的 積累Storm為主的流式大數(shù)據(jù)處理平臺(tái)對(duì)實(shí)時(shí)數(shù)據(jù)處理的相關(guān)...
    一只很努力爬樹(shù)的貓閱讀 2,162評(píng)論 0 4
  • 1.在快樂(lè)和痛苦中找一個(gè)平衡點(diǎn)峦萎,便可以一個(gè)人踏上生命中的快意之旅。 2.其實(shí)我一直都明白的忆首,只是很多時(shí)候忘記了爱榔。我...
    沈好好閱讀 172評(píng)論 0 1