Storm 核心構(gòu)建及分組

image.png

Storm核心組件:
Topology:Storm中運(yùn)行一個(gè)實(shí)時(shí)應(yīng)用程序的名稱格郁。
Nimbus:負(fù)責(zé)資源分配和任務(wù)調(diào)度。
Supervisor:負(fù)責(zé)接受nimbus分配的任務(wù)科阎,啟動(dòng)和停止屬于自己管理的worker進(jìn)程碗淌。---通過(guò)配置文件設(shè)置當(dāng)前supervisor上啟動(dòng)多少個(gè)worker port決定掩完。
spout:在一個(gè)topology中 會(huì)從外部數(shù)據(jù)源中讀取數(shù)據(jù)馆截,將外部數(shù)據(jù)源轉(zhuǎn)化成Storm內(nèi)部的數(shù)
據(jù)充活,以Tuple為基本的傳輸單元下發(fā)給Bolt。
Bolt:接受Spout發(fā)送的數(shù)據(jù)蜡娶,或上游的bolt的發(fā)送的數(shù)據(jù)混卵。根據(jù)業(yè)務(wù)邏輯進(jìn)行處理。發(fā)送給下一個(gè)Bolt或者是存儲(chǔ)到某種介質(zhì)上窖张。介質(zhì)可以是Redis可以是mysql幕随,或者其他。
Tuple:Storm內(nèi)部中數(shù)據(jù)傳輸?shù)幕締卧藿樱锩娣庋b了一個(gè)List對(duì)象赘淮,用來(lái)保存數(shù)據(jù)辕录。
StreamGrouping:數(shù)據(jù)分組策略
7種:shuffleGrouping(Random函數(shù)),Non Grouping(Random函數(shù)),FieldGrouping(Hash取模)、Local or ShuffleGrouping 本地或隨機(jī)梢卸,優(yōu)先本地走诞。
Task:一個(gè)Task屬于一個(gè)Spout或者Bolt并發(fā)任務(wù) worker中每一個(gè)spout/bolt的線程稱為一個(gè)task. 在storm0.8之后,task不再與物理線程對(duì)應(yīng)低剔,不同spout/bolt的task可能會(huì)共享一個(gè)物理線程,該線程稱為executor肮塞。

worker processes的數(shù)目, 可以通過(guò)配置文件和代碼中配置, worker就是執(zhí)行進(jìn)程, 所以考慮并發(fā)的效果, 數(shù)目至少應(yīng)該大亍machines的數(shù)目 
executor的數(shù)目, component的并發(fā)線程數(shù)襟齿,只能在代碼中配置(通過(guò)setBolt和setSpout的參數(shù)), 例如, setBolt("green-bolt", new GreenBolt(), 2) 
tasks的數(shù)目, 可以不配置, 默認(rèn)和executor1:1, 也可以通過(guò)setNumTasks()配置 
Topology的worker數(shù)通過(guò)config設(shè)置,即執(zhí)行該topology的worker(java)進(jìn)程數(shù)枕赵。它可以通過(guò) storm rebalance 命令任意調(diào)整猜欺。

Config conf = newConfig();

conf.setNumWorkers(2); **//****用2個(gè)worker**

topologyBuilder.setSpout("blue-spout", newBlueSpout(), 2); **//****設(shè)置2個(gè)并發(fā)度**

topologyBuilder.setBolt("green-bolt", newGreenBolt(), 2).setNumTasks(4).shuffleGrouping("blue-spout"); **//****設(shè)置2個(gè)并發(fā)度,4個(gè)任務(wù)**

topologyBuilder.setBolt("yellow-bolt", newYellowBolt(), 6).shuffleGrouping("green-bolt"); **//****設(shè)置6個(gè)并發(fā)度**

StormSubmitter.submitTopology("mytopology", conf, topologyBuilder.createTopology());

并發(fā)度


image.png

3個(gè)組件的并發(fā)度加起來(lái)是10拷窜,就是說(shuō)拓?fù)湟还灿?0個(gè)executor开皿,一共有2個(gè)worker,每個(gè)worker產(chǎn)生10 / 2 = 5條線程篮昧。
綠色的bolt配置成2個(gè)executor和4個(gè)task赋荆。為此每個(gè)executor為這個(gè)bolt運(yùn)行2個(gè)task。

Storm文件提交流程;


本地目錄.png
流程圖片.png

Storm 的zookeeper目錄樹(shù)


zookeeper目錄.png
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末懊昨,一起剝皮案震驚了整個(gè)濱河市窄潭,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌酵颁,老刑警劉巖嫉你,帶你破解...
    沈念sama閱讀 219,427評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異躏惋,居然都是意外死亡幽污,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,551評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén)簿姨,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)距误,“玉大人,你說(shuō)我怎么就攤上這事扁位∩盍龋” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,747評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵贤牛,是天一觀的道長(zhǎng)惋鹅。 經(jīng)常有香客問(wèn)我,道長(zhǎng)殉簸,這世上最難降的妖魔是什么闰集? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,939評(píng)論 1 295
  • 正文 為了忘掉前任沽讹,我火速辦了婚禮,結(jié)果婚禮上武鲁,老公的妹妹穿的比我還像新娘爽雄。我一直安慰自己,他們只是感情好沐鼠,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,955評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布挚瘟。 她就那樣靜靜地躺著,像睡著了一般饲梭。 火紅的嫁衣襯著肌膚如雪乘盖。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 51,737評(píng)論 1 305
  • 那天憔涉,我揣著相機(jī)與錄音订框,去河邊找鬼。 笑死兜叨,一個(gè)胖子當(dāng)著我的面吹牛穿扳,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播国旷,決...
    沈念sama閱讀 40,448評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼矛物,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了跪但?” 一聲冷哼從身側(cè)響起泽谨,我...
    開(kāi)封第一講書(shū)人閱讀 39,352評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎特漩,沒(méi)想到半個(gè)月后吧雹,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,834評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡涂身,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,992評(píng)論 3 338
  • 正文 我和宋清朗相戀三年雄卷,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片蛤售。...
    茶點(diǎn)故事閱讀 40,133評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡丁鹉,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出悴能,到底是詐尸還是另有隱情揣钦,我是刑警寧澤,帶...
    沈念sama閱讀 35,815評(píng)論 5 346
  • 正文 年R本政府宣布漠酿,位于F島的核電站冯凹,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏炒嘲。R本人自食惡果不足惜宇姚,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,477評(píng)論 3 331
  • 文/蒙蒙 一匈庭、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧浑劳,春花似錦阱持、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,022評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至蒜绽,卻和暖如春镶骗,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背滓窍。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,147評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工卖词, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留巩那,地道東北人吏夯。 一個(gè)月前我還...
    沈念sama閱讀 48,398評(píng)論 3 373
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像即横,于是被迫代替她去往敵國(guó)和親噪生。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,077評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容