Jstorm事務(wù)迎变,實(shí)現(xiàn)Storm事務(wù)思想

https://github.com/alibaba/jstorm/wiki/%E4%BA%8B%E5%8A%A1

storm的事務(wù)主要用于對數(shù)據(jù)準(zhǔn)確性要求非常高的環(huán)境中脓魏,尤其是在計算交易金額或筆數(shù),數(shù)據(jù)庫同步的場景中近她。

storm 事務(wù)邏輯是挺復(fù)雜的醋界,而且坦白講竟宋,代碼寫的挺爛的。 JStorm下一步將重新設(shè)計基于Meta 1 和Meta3 的事務(wù)模型形纺,讓使用者更簡便丘侠,代碼更清晰。
源碼可以參考 jstorm-example

Storm 事務(wù)的核心設(shè)計思想:

Transaction 還是基于基本的屬性之上逐样,做的一層封裝蜗字,從而滿足transaction ##核心設(shè)計1 提供一個strong order打肝,也就是,如果一個tuple沒有被完整的處理完挪捕,就不會處理下一個tuple粗梭,說簡單一些,就是级零,采用同步方式断医。并對每一個tuple賦予一個transaction ID,這個transaction ID是遞增屬性(強(qiáng)順序性)奏纪,如果每個bolt在處理tuple時鉴嗤,記錄了上次的tupleID,這樣即使在failure replay時能保證處理僅且處理一次 ##核心設(shè)計2 如果一次處理一個tuple序调,性能不夠好醉锅,可以考慮,一次處理一批(batch tuples) 這個時候发绢,一個batch為一個transaction處理單元硬耍,當(dāng)一個batch處理完畢,才能處理下一個batch边酒,每個batch賦予一個transaction ID默垄。 ##核心思想3 如果在計算任務(wù)中,并不是所有步驟需要強(qiáng)順序性甚纲,因此將一個計算任務(wù)拆分為2個階段:
processing 階段:這個階段可以并發(fā)
commit階段:這個階段必須強(qiáng)順序性,因此朦前,一個時刻介杆,只要一個batch在被處理 任何一個階段發(fā)生錯誤,都會完整重發(fā)batch

[

](https://github.com/alibaba/jstorm/wiki/%E4%BA%8B%E5%8A%A1#%E7%BB%93%E6%9E%9C)結(jié)果
一次性從Meta或Kafka 中取出一批數(shù)據(jù)韭寸,然后一條一條將數(shù)據(jù)發(fā)送出去春哨,當(dāng)所有數(shù)據(jù)均被正確處理后, 觸發(fā)一個commit 流恩伺,這個commit流是嚴(yán)格排序赴背,通常在commit流中進(jìn)行flush動作或刷數(shù)據(jù)庫動作,如果commit流最后返回也成功晶渠,spout 就更新Meta或kafka的偏移量凰荚,否則,任何一個環(huán)節(jié)出錯褒脯,都不會更新偏移量便瑟,也就最終重復(fù)消費(fèi)這批數(shù)據(jù)。
其實(shí)番川,相當(dāng)于把一個batch當(dāng)做一個原子tuple來處理到涂,只是中間計算的過程脊框,可以并發(fā)。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末践啄,一起剝皮案震驚了整個濱河市浇雹,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌屿讽,老刑警劉巖昭灵,帶你破解...
    沈念sama閱讀 221,820評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異聂儒,居然都是意外死亡虎锚,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,648評論 3 399
  • 文/潘曉璐 我一進(jìn)店門衩婚,熙熙樓的掌柜王于貴愁眉苦臉地迎上來窜护,“玉大人,你說我怎么就攤上這事非春≈悖” “怎么了?”我有些...
    開封第一講書人閱讀 168,324評論 0 360
  • 文/不壞的土叔 我叫張陵奇昙,是天一觀的道長护侮。 經(jīng)常有香客問我,道長储耐,這世上最難降的妖魔是什么羊初? 我笑而不...
    開封第一講書人閱讀 59,714評論 1 297
  • 正文 為了忘掉前任,我火速辦了婚禮什湘,結(jié)果婚禮上长赞,老公的妹妹穿的比我還像新娘。我一直安慰自己闽撤,他們只是感情好得哆,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,724評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著哟旗,像睡著了一般贩据。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上闸餐,一...
    開封第一講書人閱讀 52,328評論 1 310
  • 那天饱亮,我揣著相機(jī)與錄音,去河邊找鬼舍沙。 笑死近尚,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的场勤。 我是一名探鬼主播戈锻,決...
    沈念sama閱讀 40,897評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼歼跟,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了格遭?” 一聲冷哼從身側(cè)響起哈街,我...
    開封第一講書人閱讀 39,804評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎拒迅,沒想到半個月后骚秦,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,345評論 1 318
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡璧微,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,431評論 3 340
  • 正文 我和宋清朗相戀三年作箍,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片前硫。...
    茶點(diǎn)故事閱讀 40,561評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡胞得,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出屹电,到底是詐尸還是另有隱情阶剑,我是刑警寧澤,帶...
    沈念sama閱讀 36,238評論 5 350
  • 正文 年R本政府宣布危号,位于F島的核電站牧愁,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏外莲。R本人自食惡果不足惜猪半,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,928評論 3 334
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望偷线。 院中可真熱鬧办龄,春花似錦、人聲如沸淋昭。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,417評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽翔忽。三九已至,卻和暖如春盏檐,著一層夾襖步出監(jiān)牢的瞬間歇式,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,528評論 1 272
  • 我被黑心中介騙來泰國打工胡野, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留材失,地道東北人。 一個月前我還...
    沈念sama閱讀 48,983評論 3 376
  • 正文 我出身青樓硫豆,卻偏偏與公主長得像龙巨,于是被迫代替她去往敵國和親笼呆。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,573評論 2 359

推薦閱讀更多精彩內(nèi)容