最近做個(gè)項(xiàng)目考廉，出差到現(xiàn)場后，發(fā)現(xiàn)只有裸機(jī)恳谎，一堆機(jī)器裸奔芝此，連個(gè)內(nèi)褲都沒穿憋肖！哥只能從給它們穿衣服開始，這是名副其實(shí)的墾荒啊婚苹。墾荒記系列就寫寫那些墾荒的經(jīng)歷吧岸更。
怎么給機(jī)器穿衣服這事這里不討論了，今天來聊一聊怎么從零開始搭建自己的Storm集群膊升。
一提到搭環(huán)境怎炊，相信很多朋友都有一把心酸淚啊，所以我稱為墾荒廓译。的確评肆，搭環(huán)境就像墾荒地，滿地荊棘叢生非区，遍地是坑瓜挽。可喜的是征绸，像Storm這樣站在Hadoop肩膀上成長起來的大數(shù)據(jù)計(jì)算框架久橙，做得簡單清爽、玲瓏剔透管怠，搭建集群也簡單易行淆衷。然而，要搭個(gè)生產(chǎn)環(huán)境中使用的Hadoop集群渤弛，難度系數(shù)比Storm不知道大多少倍祝拯。這主要是由于Storm的復(fù)雜性遠(yuǎn)遠(yuǎn)比不上Hadoop。
Storm集群的圖紙我已經(jīng)在上圖給出她肯，由圖可知佳头，搭建Storm集群分兩步走即可。
01 搭建Zookeeper集群
Storm集群依靠Zookeeper集群來進(jìn)行集群管理辕宏，因此首先需要搭個(gè)Zookeeper集群畜晰。Storm集群對(duì)Zookeeper集群的壓力非常小，因此搭個(gè)三臺(tái)機(jī)器組成的集群足夠了瑞筐。
下面是搭Zookeeper集群的基本步驟猪贪。
1.官網(wǎng)下載相應(yīng)版本的壓縮包幔摸。本文使用zookeeper-3.4.6.tar.gz。
以下步驟在每臺(tái)機(jī)器上執(zhí)行。那問題來了告唆，我們要依次在不同的機(jī)器上去敲相同的命令嗎鹅颊？這樣太乏味了谷婆，這種體力活萝嘁，幾臺(tái)機(jī)器還好，萬一搭個(gè)成千上萬臺(tái)機(jī)器的集群瘪贱，估計(jì)要瘋了纱控！這里有個(gè)小技巧辆毡，使用一個(gè)遠(yuǎn)程工具，我用的是Xshell甜害，輸入一條命令舶掖，然后同時(shí)發(fā)射到各臺(tái)機(jī)器上去執(zhí)行。具體做法很簡單尔店，不會(huì)就百度下眨攘。
2.新增個(gè)用戶，就叫zookeeper吧嚣州，方便以后對(duì)zookeeper進(jìn)行管理鲫售。
執(zhí)行以下命令需要root權(quán)限。
# useradd zookeeper #新增用戶zookeeper
#修改zookeeper用戶密碼该肴，回車后輸入你想設(shè)置的密碼即可情竹，光標(biāo)是不會(huì)動(dòng)的，你直接輸入即可
# passwd zookeeper
3.注銷root用戶沙庐，使用zookeeper用戶登錄鲤妥。
4.將下載下來的壓縮包上傳到zookeeper家目錄/home/zookeeper下。
5.解壓拱雏。
#此處執(zhí)行這條命令即可，不推薦重命名解壓后的文件夾
$ tar -zxvf zookeeper-3.4.6.tar.gz
6.配置集群信息底扳。
#到zookeeper配置文件目錄
$ cd zookeeper-3.4.6/conf/
#看看該目錄下的文件列表
$ ll
#這時(shí)你應(yīng)該看到有一個(gè)叫zoo_sample.cfg的文件
#把zoo_sample.cfg復(fù)制一份铸抑，叫zoo.cfg，它就是zookeeper集群配置文件
$ cp zoo_sample.cfg zoo.cfg
#看看zoo.cfg文件內(nèi)容
$ cat zoo.cfg
#這時(shí)你應(yīng)該看到以下內(nèi)容
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
#以上這些配置項(xiàng)寫得很直白衷模，如果看不懂鹊汛，這里有詳細(xì)說明：
# https://www.cnblogs.com/yangsy0915/p/5932756.html
接下來，我們要修改zoo.cfg阱冶，定制我們的配置刁憋。
首先是dataDir這個(gè)配置項(xiàng)。這是存放zookeeper運(yùn)行時(shí)數(shù)據(jù)的目錄木蹬，如果沒有日志存放目錄配置dataLogDir至耻，zookeeper運(yùn)行日志也會(huì)到這個(gè)目錄下。我推薦把dataLogDir也配置上镊叁，方便后期維護(hù)尘颓。
然后是autopurge.snapRetainCount和autopurge.purgeInterval這兩個(gè)配置項(xiàng)。這兩個(gè)配置項(xiàng)的含義看看注釋就懂晦譬，如果你不想手動(dòng)去清理zookeeper運(yùn)行時(shí)產(chǎn)生的數(shù)據(jù)疤苹，最好配上，讓它自己去清理敛腌。
最后是集群信息配置卧土，就是告訴zookeeper集群中各機(jī)器的地址惫皱。這個(gè)配置項(xiàng)長這樣。
server.x=hostname:port1:port2
# x是機(jī)器編號(hào)尤莺，從1開始遞增逸吵，要在dataDir下新建一個(gè)文件myid，里面只有一個(gè)數(shù)字缝裁，就是這里的x
# hostname是機(jī)器的主機(jī)名
# port1是zookeeper集群Leader和Follower之間進(jìn)行數(shù)據(jù)同步的通信端口
# port2是zookeeper集群進(jìn)行Leader選擇的通信端口
對(duì)zoo.cfg進(jìn)行以上修改就可以了扫皱，其他配置默認(rèn)就好。參考配置如下捷绑。
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/home/zookeeper/zookeeper-3.4.6/data
dataLogDir=/home/zookeeper/zookeeper-3.4.6/log
# The number of snapshots to retain in dataDir
autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
autopurge.purgeInterval=6
#the zookeeper cluster information
server.1=zookeeper01:2888:3888
server.2=zookeeper02:2888:3888
server.3=zookeeper03:2888:3888
最后別忘記在各機(jī)器的dataDir下新建一個(gè)文件myid韩脑，里面寫上給該機(jī)器分配的編號(hào)。
7.啟動(dòng)zookeeper集群粹污。
控制zookeeper運(yùn)行狀態(tài)的操作都在bin/zkServer.sh這個(gè)腳本中段多。
$ cd zookeeper-3.4.6/bin/
#啟動(dòng)zookeeper，作為后臺(tái)進(jìn)程運(yùn)行
$ sh zkServer.sh start &
網(wǎng)上有些人的博客壮吩，在執(zhí)行zookeeper啟動(dòng)命令時(shí)进苍，把輸出全部扔到Linux黑洞（null）里面，這是我強(qiáng)烈反對(duì)的鸭叙，zookeeper運(yùn)行時(shí)的輸出對(duì)我們是有用的觉啊，初學(xué)者在啟動(dòng)zookeeper報(bào)錯(cuò)時(shí)就可以看它的輸出來獲得解決辦法。
執(zhí)行zookeeper啟動(dòng)命令后沈贝，可以在bin目錄下的zookeeper.out文件中看看運(yùn)行日志杠人，如果沒有ERROR，說明正常宋下，有錯(cuò)誤就根據(jù)提示解決嗡善。
zookeeper常用控制命令。
#啟動(dòng)zookeeper服務(wù)
$ sh zkServer.sh start
#查看zookeeper服務(wù)狀態(tài)
$ sh zkServer.sh status
#停止zookeeper服務(wù)
$ sh zkServer.sh stop
#重啟zookeeper服務(wù)
$ sh zkServer.sh restart
02 搭建Storm集群
有了Zookeeper集群学歧，再來搭Storm就簡單了罩引。
1.Storm官網(wǎng)下載相應(yīng)版本的壓縮包。本文使用apache-storm-1.0.0.tar.gz枝笨。
以下步驟在每臺(tái)機(jī)器上執(zhí)行袁铐。
2.新建storm用戶，方便以后對(duì)storm進(jìn)行管理伺帘。
3.使用storm用戶登錄Linux服務(wù)器昭躺。
4.將storm壓縮包上傳到storm家目錄/home/storm下。
5.解壓伪嫁。
#此處執(zhí)行這條命令即可领炫，不推薦重命名解壓后的文件夾
$ tar -zxvf apache-storm-1.0.0.tar.gz
6.配置storm集群信息。
#到storm配置文件目錄
$ cd apache-storm-1.0.0/conf/
#看看該目錄下的文件列表
$ ll
這時(shí)你可以看到有一個(gè)叫storm.yaml的文件张咳，在該文件中加入集群信息即可完成配置帝洪。
#查看storm.yaml文件內(nèi)容
$ cat storm.yaml
#這時(shí)你應(yīng)該看到以下內(nèi)容
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements. See the NOTICE file
# distributed with this work for additional information
# regarding copyright ownership. The ASF licenses this file
# to you under the Apache License, Version 2.0 (the
# "License"); you may not use this file except in compliance
# with the License. You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
########### These MUST be filled in for a storm configuration
# storm.zookeeper.servers:
# - "server1"
# - "server2"
#
# nimbus.seeds: ["host1", "host2", "host3"]
#
#
# ##### These may optionally be filled in:
#
## List of custom serializations
# topology.kryo.register:
# - org.mycompany.MyType
# - org.mycompany.MyType2: org.mycompany.MyType2Serializer
#
## List of custom kryo decorators
# topology.kryo.decorators:
# - org.mycompany.MyDecorator
#
## Locations of the drpc servers
# drpc.servers:
# - "server1"
# - "server2"
## Metrics Consumers
# topology.metrics.consumer.register:
# - class: "org.apache.storm.metric.LoggingMetricsConsumer"
# parallelism.hint: 1
# - class: "org.mycompany.MyMetricsConsumer"
# parallelism.hint: 1
# argument:
# - endpoint: "metrics-collector.mycompany.org"
在storm.yaml文件中似舵，我們修改兩個(gè)配置項(xiàng)即可。首先是storm.zookeeper.servers這個(gè)配置項(xiàng)葱峡，它告訴storm Zookeeper服務(wù)器的地址砚哗。其次是nimbus.seeds這個(gè)配置項(xiàng)，它告訴storm Nimbus節(jié)點(diǎn)的地址砰奕。這兩個(gè)地址可以直接寫ip地址蛛芥，也可以寫主機(jī)名，推薦寫主機(jī)名军援。還有一個(gè)叫supervisor.slots.ports配置項(xiàng)仅淑，他是supervisor守護(hù)進(jìn)程工作的端口號(hào)，一個(gè)supervisor守護(hù)進(jìn)程工作在一個(gè)端口上胸哥。storm默認(rèn)配置了4個(gè)supervisor守護(hù)進(jìn)程工作端口號(hào)涯竟，分別是6700、6701空厌、6702和6703庐船。如果你需要起超過四個(gè)supervisor進(jìn)程，在配置文件中加入該配置項(xiàng)即可嘲更。本文的storm配置信息如下筐钟。
storm.zookeeper.servers:
- "zookeeper01"
- "zookeeper02"
- "zookeeper03"
nimbus.seeds: ["storm01", "storm02"]
7.啟動(dòng)storm守護(hù)進(jìn)程。
控制storm各守護(hù)進(jìn)程運(yùn)行的都是$STORM_HOME/bin下的storm.sh腳本哮内。
#啟動(dòng)nimbus盗棵，作為后臺(tái)進(jìn)程運(yùn)行
#在各nimbus節(jié)點(diǎn)執(zhí)行
$ sh storm.sh nimbus &
#啟動(dòng)supervisor，作為后臺(tái)進(jìn)程運(yùn)行
#在各supervisor節(jié)點(diǎn)執(zhí)行
$ sh storm.sh supervisor &
#啟動(dòng)storm UI北发，作為后臺(tái)進(jìn)程運(yùn)行
#在nimbus節(jié)點(diǎn)執(zhí)行
$ sh storm.sh ui &
注意輸出，如果有報(bào)錯(cuò)喷屋，根據(jù)錯(cuò)誤提示去尋找解決辦法琳拨，如果沒有報(bào)錯(cuò)，你可以瀏覽器訪問storm UI了屯曹，http://{nimbus_host}:8080狱庇。
至此，storm集群搭好了恶耽，可以喝杯茶歇歇了密任！
