Storm基礎(chǔ)理論
Storm編程模型
元組（Tuple）
元組（Tuple），是消息傳遞的基本單元子漩，是一個(gè)命名的值列表拍嵌，元組中的字段可以是任何類(lèi)型的對(duì)象输拇。Storm使用元組作為其數(shù)據(jù)模型，元組支持所有的基本類(lèi)型抢野、字符串和字節(jié)數(shù)組作為字段值拷淘，只要實(shí)現(xiàn)類(lèi)型的序列化接口就可以使用該類(lèi)型的對(duì)象。元組本來(lái)應(yīng)該是一個(gè)key-value的Map指孤，但是由于各個(gè)組件間傳遞的元組的字段名稱(chēng)已經(jīng)事先定義好启涯，所以只要按序把元組填入各個(gè)value即可，所以元組是一個(gè)value的List邓厕。
流（Stream）
流是Storm的核心抽象逝嚎，是一個(gè)無(wú)界的元組系列扁瓢，源源不斷傳遞的元組就組成了流详恼，在分布式環(huán)境中并行地進(jìn)行創(chuàng)建和處理
水龍頭（Spout）
Spout是拓?fù)涞牧鞯膩?lái)源，是一個(gè)拓?fù)渲挟a(chǎn)生源數(shù)據(jù)流的組件引几。通常情況下昧互，Spout會(huì)從外部數(shù)據(jù)源中讀取數(shù)據(jù)，然后轉(zhuǎn)換為拓?fù)鋬?nèi)部的源數(shù)據(jù)伟桅。
- Spout可以是可靠的敞掘，也可以是不可靠的。如果Storm處理元組失敗楣铁，可靠的Spout能夠重新發(fā)射玖雁，而不可靠的Spout就盡快忘記發(fā)出的元組。
- Spout可以發(fā)出超過(guò)一個(gè)流盖腕。
- Spout的主要方法是nextTuple()赫冬。NextTuple()會(huì)發(fā)出一個(gè)新的Tuple到拓?fù)洌绻麤](méi)有新的元組發(fā)出溃列，則簡(jiǎn)單返回劲厌。
- Spout的其他方法是ack()和fail()。當(dāng)Storm檢測(cè)到一個(gè)元組從Spout發(fā)出時(shí)听隐，ack()和fail()會(huì)被調(diào)用补鼻，要么成功完成通過(guò)拓?fù)洌次茨芡瓿裳湃巍ck()和fail()僅被可靠的Spout調(diào)用风范。IRichSpout是Spout必須實(shí)現(xiàn)的接口。
轉(zhuǎn)接頭（Bolt）
在拓?fù)渲兴刑幚矶荚贐olt中完成沪么，Bolt是流的處理節(jié)點(diǎn)乌企，從一個(gè)拓?fù)浣邮諗?shù)據(jù)，然后執(zhí)行進(jìn)行處理的組件成玫。Bolt可以完成過(guò)濾加酵、業(yè)務(wù)處理拳喻、連接運(yùn)算、連接與訪(fǎng)問(wèn)數(shù)據(jù)庫(kù)等任何操作猪腕。
- Bolt是一個(gè)被動(dòng)的角色冗澈，七接口中有一個(gè)execute()方法，在接收到消息后會(huì)調(diào)用此方法陋葡，用戶(hù)可以在其中執(zhí)行自己希望的操作亚亲。
- Bolt可以完成簡(jiǎn)單的流的轉(zhuǎn)換，而完成復(fù)雜的流的轉(zhuǎn)換通常需要多個(gè)步驟腐缤，因此需要多個(gè)Bolt捌归。
- Bolt可以發(fā)出超過(guò)一個(gè)的流。
拓?fù)洌═opology）
拓?fù)洌═opology）是Storm中運(yùn)行的一個(gè)實(shí)時(shí)應(yīng)用程序岭粤，因?yàn)楦鱾€(gè)組件間的消息流動(dòng)而形成邏輯上的拓?fù)浣Y(jié)構(gòu)惜索。
把實(shí)時(shí)應(yīng)用程序的運(yùn)行邏輯打成jar包后提交到Storm的拓?fù)洌═opology）。Storm的拓?fù)漕?lèi)似于MapReduce的作業(yè)（Job）剃浇。其主要的區(qū)別是巾兆，MapReduce的作業(yè)最終會(huì)完成，而一個(gè)拓?fù)溆肋h(yuǎn)都在運(yùn)行直到它被殺死虎囚。一個(gè)拓?fù)涫且粋€(gè)圖的Spout和Bolt的連接流分組角塑。
Storm核心組件
nimbus是整個(gè)集群的控管核心，負(fù)責(zé)topology的提交淘讥、運(yùn)行狀態(tài)監(jiān)控圃伶、任務(wù)重新分配等工作。
zk就是一個(gè)管理者蒲列，監(jiān)控者窒朋。
總體描述：nimbus下命令（分配任務(wù)），zk監(jiān)督執(zhí)行（心跳監(jiān)控嫉嘀，worker炼邀、supurvisor的心跳都?xì)w它管），supervisor領(lǐng)旨（下載代碼）剪侮，招募人馬(創(chuàng)建worker和線(xiàn)程等)拭宁，worker、executor就給我干活瓣俯！task就是具體要干的活杰标。
主控節(jié)點(diǎn)與工作節(jié)點(diǎn)
Storm集群中有兩類(lèi)節(jié)點(diǎn)：主控節(jié)點(diǎn)（Master Node）和工作節(jié)點(diǎn)（Worker Node）。其中彩匕，主控節(jié)點(diǎn)只有一個(gè)腔剂，而工作節(jié)點(diǎn)可以有多個(gè)。
Nimbus進(jìn)程與Supervisor進(jìn)程
主控節(jié)點(diǎn)運(yùn)行一個(gè)稱(chēng)為Nimbus的守護(hù)進(jìn)程類(lèi)似于Hadoop的JobTracker驼仪。Nimbus負(fù)責(zé)在集群中分發(fā)代碼掸犬，對(duì)節(jié)點(diǎn)分配任務(wù)袜漩，并監(jiān)視主機(jī)故障。
每個(gè)工作節(jié)點(diǎn)運(yùn)行一個(gè)稱(chēng)為Supervisor的守護(hù)進(jìn)程湾碎。Supervisor監(jiān)聽(tīng)其主機(jī)上已經(jīng)分配的主機(jī)的作業(yè)宙攻，啟動(dòng)和停止Nimbus已經(jīng)分配的工作進(jìn)程。
流分組（Stream grouping）
流分組介褥，是拓?fù)涠x中的一部分座掘，為每個(gè)Bolt指定應(yīng)該接收哪個(gè)流作為輸入。流分組定義了流/元組如何在Bolt的任務(wù)之間進(jìn)行分發(fā)柔滔。Storm內(nèi)置了8種流分組方式溢陪。
工作進(jìn)程（Worker）
Worker是Spout/Bolt中運(yùn)行具體處理邏輯的進(jìn)程。一個(gè)worker就是一個(gè)進(jìn)程睛廊，進(jìn)程里面包含一個(gè)或多個(gè)線(xiàn)程形真。
執(zhí)行器（Executor）
一個(gè)線(xiàn)程就是一個(gè)executor，一個(gè)線(xiàn)程會(huì)處理一個(gè)或多個(gè)任務(wù)喉前。
任務(wù)（Task）
一個(gè)任務(wù)就是一個(gè)task没酣。
實(shí)時(shí)計(jì)算常用架構(gòu)圖
```mermaid
graph LR
后臺(tái)系統(tǒng)(圓角) -->Flume集群(圓角)-->Kafka集群(圓角)-->Storm集群(圓角)-->Redis集群(圓角)
```
- Flume獲取數(shù)據(jù)王财。
- Kafka臨時(shí)保存數(shù)據(jù)卵迂。
- Strom計(jì)算數(shù)據(jù)。
- Redis是個(gè)內(nèi)存數(shù)據(jù)庫(kù)绒净，用來(lái)保存數(shù)據(jù)见咒。
