要搭建storm集群首先需要由zookeeper又官,這里使用三臺(tái)機(jī)器模孩,一臺(tái)做做nimbus(mini1機(jī)器)琳要,兩臺(tái)做supervisor(mini2和mini3機(jī)器)衫嵌。
三臺(tái)hosts文件如下
[root@mini1 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 localhost.jinbm
192.168.25.127 mini1
192.168.25.129 mini2
192.168.25.130 mini3
這里還是使用root用戶來(lái)搭建
按照一般集群部署流程
集群部署的流程:下載安裝包、解壓安裝包砂心、修改配置文件懈词、分發(fā)安裝包、啟動(dòng)集群辩诞。
1坎弯、下載storm,我這里下載的是apache-storm-0.9.5.tar.gz,傳到mini1機(jī)器上荞怒。
2洒琢、解壓storm安裝包到apps文件夾下(如果沒有該文件夾需要?jiǎng)?chuàng)建,我這里以前將zookeeper褐桌,hadoop等都解壓到了這個(gè)文件夾方便統(tǒng)一管理)衰抑,解壓后,修改名字為storm(一來(lái)為了方便荧嵌,但主要是為了配置環(huán)境變量方便呛踊,即使以后換了storm版本只要改名為storm那么環(huán)境變量已然有效)。
[root@mini1 ~]# tar -zxvf apache-storm-0.9.5.tar.gz -C apps/
[root@mini1 ~]# cd apps/
[root@mini1 apps]# ll
總用量 24
drwxr-xr-x. 8 root root 4096 10月 19 15:15 apache-flume-1.6.0-bin
drwxr-xr-x. 9 root root 4096 10月 30 15:24 apache-storm-0.9.5
drwxrwxr-x. 10 hadoop hadoop 4096 9月 30 22:04 hadoop-2.6.4
drwxr-xr-x. 7 root root 4096 10月 30 00:20 hbase
drwxr-xr-x. 8 root root 4096 10月 17 12:38 hive
drwxr-xr-x. 10 root root 4096 10月 29 23:21 zookeeper-3.4.6
[root@mini1 apps]# mv apache-storm-0.9.5/ storm
3啦撮、修改環(huán)境變量(三臺(tái)機(jī)器都一樣)
最后添加2兩信息
[root@mini1 storm]# vi /etc/profile
...
export STORM_HOME=/root/apps/storm
export PATH=$PATH:$STORM_HOME/bin
[root@mini1 storm]# source /etc/profile
4谭网、修改配置文件,進(jìn)入strom目錄的conf目錄下赃春,修改配置文件storm.yaml愉择。添加內(nèi)容如下:
[root@mini1 conf]# vi storm.yaml
#指定storm使用的zk集群
storm.zookeeper.servers:
- "mini1"
- "mini2"
- "mini3"
#指定storm集群中的nimbus節(jié)點(diǎn)所在的服務(wù)器
nimbus.host: "mini1"
#指定nimbus啟動(dòng)JVM最大可用內(nèi)存大小
nimbus.childopts: "-Xmx1024m"
#指定supervisor啟動(dòng)JVM最大可用內(nèi)存大小
supervisor.childopts: "-Xmx1024m"
#指定supervisor節(jié)點(diǎn)上,每個(gè)worker啟動(dòng)JVM最大可用內(nèi)存大小
worker.childopts: "-Xmx768m"
#指定ui啟動(dòng)JVM最大可用內(nèi)存大小织中,ui服務(wù)一般與nimbus同在一個(gè)節(jié)點(diǎn)上锥涕。
ui.childopts: "-Xmx768m"
#指定supervisor節(jié)點(diǎn)上,啟動(dòng)worker時(shí)對(duì)應(yīng)的端口號(hào)狭吼,每個(gè)端口對(duì)應(yīng)槽层坠,每個(gè)槽位對(duì)應(yīng)一個(gè)worker,這里是4個(gè)worker
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
5刁笙、將配置好的storm安裝包分發(fā)到mini2和mini3機(jī)器上/root/apps目錄下
[root@mini1 apps]# scp -r storm/ mini2:/root/apps/
[root@mini1 apps]# scp -r storm/ mini3:/root/apps/
6破花、啟動(dòng)集群
mini1機(jī)器上進(jìn)入storm的bin目錄下啟動(dòng)nimbus和ui
可以使用nuhub指令啟動(dòng)但是如果沒安裝的話就按照我下面的,無(wú)非多開兩個(gè)窗口
啟動(dòng)nimbus
[root@mini1 bin]# ./storm nimbus
換個(gè)窗口啟動(dòng)ui
[root@mini1 bin]# ./storm ui
[root@mini1 ~]# jps
14783 Jps
4550 QuorumPeerMain
14648 nimbus
14714 core
在mini2和mini3上分別啟動(dòng)supervisor
[root@mini2 bin]# ./storm supervisor
[root@mini3 bin]# ./storm supervisor
[root@mini3 ~]# jps
3466 QuorumPeerMain
8912 Jps
8826 supervisor
查看集群是否啟動(dòng)起來(lái)
瀏覽器輸入mini1:8080
Cluster Summary中能看到Supervisor的個(gè)數(shù)為2疲吸,對(duì)應(yīng)的物理機(jī)mini2和mini3各啟了一個(gè)座每。空閑的槽有8個(gè)磅氨,總共有8個(gè)槽(即worker數(shù)尺栖,配置文件中配了4個(gè)端口也就是4個(gè)worker嫡纠,mini2和mini3個(gè)四個(gè)所以就是8個(gè))
Topology summary沒有內(nèi)容是因?yàn)檫€沒有跑storm程序
后面還有Supervisor summary與Nimbus Configuration的相關(guān)信息烦租。