(一)Storm集群部署

要搭建storm集群首先需要由zookeeper又官,這里使用三臺(tái)機(jī)器模孩,一臺(tái)做做nimbus(mini1機(jī)器)琳要,兩臺(tái)做supervisor(mini2和mini3機(jī)器)衫嵌。
三臺(tái)hosts文件如下

[root@mini1 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6 localhost.jinbm
192.168.25.127 mini1
192.168.25.129 mini2
192.168.25.130 mini3

這里還是使用root用戶來(lái)搭建
按照一般集群部署流程
集群部署的流程:下載安裝包、解壓安裝包砂心、修改配置文件懈词、分發(fā)安裝包、啟動(dòng)集群辩诞。
1坎弯、下載storm,我這里下載的是apache-storm-0.9.5.tar.gz,傳到mini1機(jī)器上荞怒。
2洒琢、解壓storm安裝包到apps文件夾下(如果沒有該文件夾需要?jiǎng)?chuàng)建,我這里以前將zookeeper褐桌,hadoop等都解壓到了這個(gè)文件夾方便統(tǒng)一管理)衰抑,解壓后,修改名字為storm(一來(lái)為了方便荧嵌,但主要是為了配置環(huán)境變量方便呛踊,即使以后換了storm版本只要改名為storm那么環(huán)境變量已然有效)。

[root@mini1 ~]# tar -zxvf apache-storm-0.9.5.tar.gz -C apps/
[root@mini1 ~]# cd apps/
[root@mini1 apps]# ll
總用量 24
drwxr-xr-x.  8 root   root   4096 10月 19 15:15 apache-flume-1.6.0-bin
drwxr-xr-x.  9 root   root   4096 10月 30 15:24 apache-storm-0.9.5
drwxrwxr-x. 10 hadoop hadoop 4096 9月  30 22:04 hadoop-2.6.4
drwxr-xr-x.  7 root   root   4096 10月 30 00:20 hbase
drwxr-xr-x.  8 root   root   4096 10月 17 12:38 hive
drwxr-xr-x. 10 root   root   4096 10月 29 23:21 zookeeper-3.4.6
[root@mini1 apps]# mv apache-storm-0.9.5/ storm

3啦撮、修改環(huán)境變量(三臺(tái)機(jī)器都一樣)
最后添加2兩信息

[root@mini1 storm]# vi /etc/profile
...
export STORM_HOME=/root/apps/storm
export PATH=$PATH:$STORM_HOME/bin

[root@mini1 storm]# source /etc/profile

4谭网、修改配置文件,進(jìn)入strom目錄的conf目錄下赃春,修改配置文件storm.yaml愉择。添加內(nèi)容如下:

[root@mini1 conf]# vi storm.yaml 
#指定storm使用的zk集群
storm.zookeeper.servers:
- "mini1"
- "mini2"
- "mini3"
#指定storm集群中的nimbus節(jié)點(diǎn)所在的服務(wù)器
nimbus.host: "mini1"
#指定nimbus啟動(dòng)JVM最大可用內(nèi)存大小
nimbus.childopts: "-Xmx1024m"
#指定supervisor啟動(dòng)JVM最大可用內(nèi)存大小
supervisor.childopts: "-Xmx1024m"
#指定supervisor節(jié)點(diǎn)上,每個(gè)worker啟動(dòng)JVM最大可用內(nèi)存大小
worker.childopts: "-Xmx768m"
#指定ui啟動(dòng)JVM最大可用內(nèi)存大小织中,ui服務(wù)一般與nimbus同在一個(gè)節(jié)點(diǎn)上锥涕。
ui.childopts: "-Xmx768m"
#指定supervisor節(jié)點(diǎn)上,啟動(dòng)worker時(shí)對(duì)應(yīng)的端口號(hào)狭吼,每個(gè)端口對(duì)應(yīng)槽层坠,每個(gè)槽位對(duì)應(yīng)一個(gè)worker,這里是4個(gè)worker
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703

5刁笙、將配置好的storm安裝包分發(fā)到mini2和mini3機(jī)器上/root/apps目錄下

[root@mini1 apps]# scp -r storm/ mini2:/root/apps/
[root@mini1 apps]# scp -r storm/ mini3:/root/apps/

6破花、啟動(dòng)集群
mini1機(jī)器上進(jìn)入storm的bin目錄下啟動(dòng)nimbus和ui
可以使用nuhub指令啟動(dòng)但是如果沒安裝的話就按照我下面的,無(wú)非多開兩個(gè)窗口

啟動(dòng)nimbus
[root@mini1 bin]# ./storm nimbus
換個(gè)窗口啟動(dòng)ui
[root@mini1 bin]# ./storm ui
[root@mini1 ~]# jps
14783 Jps
4550 QuorumPeerMain
14648 nimbus
14714 core

在mini2和mini3上分別啟動(dòng)supervisor
[root@mini2 bin]# ./storm supervisor 
[root@mini3 bin]# ./storm supervisor
[root@mini3 ~]# jps
3466 QuorumPeerMain
8912 Jps
8826 supervisor

查看集群是否啟動(dòng)起來(lái)
瀏覽器輸入mini1:8080


image.png

Cluster Summary中能看到Supervisor的個(gè)數(shù)為2疲吸,對(duì)應(yīng)的物理機(jī)mini2和mini3各啟了一個(gè)座每。空閑的槽有8個(gè)磅氨,總共有8個(gè)槽(即worker數(shù)尺栖,配置文件中配了4個(gè)端口也就是4個(gè)worker嫡纠,mini2和mini3個(gè)四個(gè)所以就是8個(gè))

Topology summary沒有內(nèi)容是因?yàn)檫€沒有跑storm程序
后面還有Supervisor summary與Nimbus Configuration的相關(guān)信息烦租。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市除盏,隨后出現(xiàn)的幾起案子叉橱,更是在濱河造成了極大的恐慌,老刑警劉巖者蠕,帶你破解...
    沈念sama閱讀 221,273評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件窃祝,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡踱侣,警方通過(guò)查閱死者的電腦和手機(jī)粪小,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,349評(píng)論 3 398
  • 文/潘曉璐 我一進(jìn)店門大磺,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人探膊,你說(shuō)我怎么就攤上這事杠愧。” “怎么了逞壁?”我有些...
    開封第一講書人閱讀 167,709評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵流济,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我腌闯,道長(zhǎng)绳瘟,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,520評(píng)論 1 296
  • 正文 為了忘掉前任姿骏,我火速辦了婚禮糖声,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘分瘦。我一直安慰自己姨丈,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,515評(píng)論 6 397
  • 文/花漫 我一把揭開白布擅腰。 她就那樣靜靜地躺著蟋恬,像睡著了一般。 火紅的嫁衣襯著肌膚如雪趁冈。 梳的紋絲不亂的頭發(fā)上歼争,一...
    開封第一講書人閱讀 52,158評(píng)論 1 308
  • 那天,我揣著相機(jī)與錄音渗勘,去河邊找鬼沐绒。 笑死,一個(gè)胖子當(dāng)著我的面吹牛旺坠,可吹牛的內(nèi)容都是我干的乔遮。 我是一名探鬼主播,決...
    沈念sama閱讀 40,755評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼取刃,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼蹋肮!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起璧疗,我...
    開封第一講書人閱讀 39,660評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤坯辩,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后崩侠,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體漆魔,經(jīng)...
    沈念sama閱讀 46,203評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,287評(píng)論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了改抡。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片矢炼。...
    茶點(diǎn)故事閱讀 40,427評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖阿纤,靈堂內(nèi)的尸體忽然破棺而出裸删,到底是詐尸還是另有隱情,我是刑警寧澤阵赠,帶...
    沈念sama閱讀 36,122評(píng)論 5 349
  • 正文 年R本政府宣布涯塔,位于F島的核電站,受9級(jí)特大地震影響清蚀,放射性物質(zhì)發(fā)生泄漏匕荸。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,801評(píng)論 3 333
  • 文/蒙蒙 一枷邪、第九天 我趴在偏房一處隱蔽的房頂上張望榛搔。 院中可真熱鬧,春花似錦东揣、人聲如沸践惑。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,272評(píng)論 0 23
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)尔觉。三九已至,卻和暖如春芥吟,著一層夾襖步出監(jiān)牢的瞬間侦铜,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,393評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工钟鸵, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留钉稍,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,808評(píng)論 3 376
  • 正文 我出身青樓棺耍,卻偏偏與公主長(zhǎng)得像贡未,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子蒙袍,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,440評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容