【Storm的簡介】

storm分布式實時計算框架,在整個程序中雌贱,spout接收數(shù)據(jù)源并封裝數(shù)據(jù)為tuple,然后將tuple發(fā)送給bolt處理,處理完數(shù)據(jù)后可以發(fā)送到下一個bolt中再處理也可以直接進行外部存儲据途。那么這中間就涉及到一個任務(wù)處理的容錯機制,和tuple發(fā)送的分配機制了叙甸。

核心概念

Input data source:數(shù)據(jù)來源颖医,一般有hdfs,kafka,hive,hbase等等

spout:storm的處理數(shù)據(jù)源類,獲取數(shù)據(jù)裆蒸,并封裝數(shù)據(jù)為tuple

bolt:storm的核心處理邏輯熔萧,

Tuple:數(shù)據(jù)結(jié)構(gòu),storm中的數(shù)據(jù)處理以tuple為基本單位僚祷,數(shù)組結(jié)構(gòu)

Nimbus:storm集群中的master節(jié)點的稱呼佛致,主要是管理storm任務(wù)

Supervisor:集群的從節(jié)點稱呼,具體處理數(shù)據(jù)的類

Zookeeper:分布式協(xié)調(diào)服務(wù)辙谜,在集群中感知supervisor的狀態(tài)俺榆,以便nimbus分配資源

Topology;storm的應用程序

Bolte的分配策略

目前storm支持的分配策略有8中装哆,隨機分配罐脊,指定分配,按相同的字段分配等蜕琴,

Topology應用程序

自定義類繼承BaseRichSpout萍桌,open方法用來初始化spout的輸出收集器SpoutOutputCollector,????nextTuple方法用來封裝tuple并又輸出收集器發(fā)送凌简,declareOutputFields方法用來定義發(fā)送的tuple消息元祖的字段名字上炎。

自定義類繼承BaseRichBolt,prepare方法用來初始化OutputCollector輸出收集器号醉,execute方法用來獲取spout發(fā)送的tuple元祖并處理后由收集器發(fā)送反症,declareOutputFields方法用來定義輸出字段的名字辛块。

自定義main類,初始化TopologyBuilder類铅碍,設(shè)置spout,bolt和config信息润绵,對于spout和bolt需要設(shè)置其并行度,bolt需要設(shè)置其分配策略胞谈,并制定tuple的接收來之哪個bolt.

storm的容錯機制

容錯機制就是動態(tài)感知tuple的處理結(jié)果尘盼,當tuple處理失敗的話能夠重新發(fā)送處理,當我們封裝tuple時可以傳遞一個唯一ID.

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末烦绳,一起剝皮案震驚了整個濱河市卿捎,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌径密,老刑警劉巖午阵,帶你破解...
    沈念sama閱讀 210,978評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異享扔,居然都是意外死亡底桂,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,954評論 2 384
  • 文/潘曉璐 我一進店門惧眠,熙熙樓的掌柜王于貴愁眉苦臉地迎上來籽懦,“玉大人,你說我怎么就攤上這事氛魁∧核常” “怎么了?”我有些...
    開封第一講書人閱讀 156,623評論 0 345
  • 文/不壞的土叔 我叫張陵秀存,是天一觀的道長捶码。 經(jīng)常有香客問我,道長应又,這世上最難降的妖魔是什么宙项? 我笑而不...
    開封第一講書人閱讀 56,324評論 1 282
  • 正文 為了忘掉前任,我火速辦了婚禮株扛,結(jié)果婚禮上尤筐,老公的妹妹穿的比我還像新娘。我一直安慰自己洞就,他們只是感情好盆繁,可當我...
    茶點故事閱讀 65,390評論 5 384
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著旬蟋,像睡著了一般油昂。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,741評論 1 289
  • 那天冕碟,我揣著相機與錄音拦惋,去河邊找鬼。 笑死安寺,一個胖子當著我的面吹牛厕妖,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播挑庶,決...
    沈念sama閱讀 38,892評論 3 405
  • 文/蒼蘭香墨 我猛地睜開眼言秸,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了迎捺?” 一聲冷哼從身側(cè)響起举畸,我...
    開封第一講書人閱讀 37,655評論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎凳枝,沒想到半個月后抄沮,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,104評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡岖瑰,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,451評論 2 325
  • 正文 我和宋清朗相戀三年合是,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片锭环。...
    茶點故事閱讀 38,569評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖泊藕,靈堂內(nèi)的尸體忽然破棺而出辅辩,到底是詐尸還是另有隱情,我是刑警寧澤娃圆,帶...
    沈念sama閱讀 34,254評論 4 328
  • 正文 年R本政府宣布玫锋,位于F島的核電站,受9級特大地震影響讼呢,放射性物質(zhì)發(fā)生泄漏撩鹿。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,834評論 3 312
  • 文/蒙蒙 一悦屏、第九天 我趴在偏房一處隱蔽的房頂上張望节沦。 院中可真熱鬧,春花似錦础爬、人聲如沸甫贯。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,725評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽叫搁。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間渴逻,已是汗流浹背疾党。 一陣腳步聲響...
    開封第一講書人閱讀 31,950評論 1 264
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留惨奕,地道東北人雪位。 一個月前我還...
    沈念sama閱讀 46,260評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像墓贿,于是被迫代替她去往敵國和親茧泪。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 43,446評論 2 348

推薦閱讀更多精彩內(nèi)容

  • 目錄 場景假設(shè) 調(diào)優(yōu)步驟和方法 Storm 的部分特性 Storm 并行度 Storm 消息機制 Storm UI...
    mtide閱讀 17,060評論 30 60
  • Date: Nov 17-24, 2017 1. 目的 積累Storm為主的流式大數(shù)據(jù)處理平臺對實時數(shù)據(jù)處理的相關(guān)...
    一只很努力爬樹的貓閱讀 2,162評論 0 4
  • Storm入門系列之一:storm核心概念及特性 本文的將介紹一些 storm 入門的基礎(chǔ)知識聋袋,包括 storm ...
    zhaif閱讀 3,091評論 0 17
  • 本文借鑒官文幽勒,添加了一些解釋和看法嗜侮,其中有些理解,寫的比較粗糙啥容,有問題的地方希望大家指出锈颗。寫這篇文章,是想把一些官...
    達微閱讀 940評論 0 0
  • 兩個年近三十的女人咪惠,在商場一樓的咖啡館里對坐聊天击吱。 “馮青曼是誰?” “朋友圈里的一個人遥昧,很有能力覆醇,也很美√砍簦” “...
    腰咋小姐閱讀 306評論 0 1