storm

Storm是什么
Storm官方網站有段簡介
Storm是一個免費并開源的分布式實時計算系統(tǒng)驹溃。利用Storm可以很容易做到可靠地處理無限的數據流襟士,像Hadoop批量處理大數據一樣理郑,Storm可以實時處理數據。Storm簡單,可以使用任何編程語言。

在Storm之前哑蔫,進行實時處理是非常痛苦的事情: 需要維護一堆消息隊列和消費者,他們構成了非常復雜的圖結構。消費者進程從隊列里取消息闸迷,處理完成后嵌纲,去更新數據庫,或者給其他隊列發(fā)新消息腥沽。
這樣進行實時處理是非常痛苦的逮走。我們主要的時間都花在關注往哪里發(fā)消息,從哪里接收消息今阳,消息如何序列化师溅,真正的業(yè)務邏輯只占了源代碼的一小部分。一個應用程序的邏輯運行在很多worker上盾舌,但這些worker需要各自單獨部署墓臭,還需要部署消息隊列。最大問題是系統(tǒng)很脆弱矿筝,而且不是容錯的:需要自己保證消息隊列和worker進程工作正常起便。
Storm完整地解決了這些問題棚贾。它是為分布式場景而生的窖维,抽象了消息傳遞,會自動地在集群機器上并發(fā)地處理流式計算妙痹,讓你專注于實時處理的業(yè)務邏輯铸史。

Storm的特點
Storm有如下特點:
編程簡單:開發(fā)人員只需要關注應用邏輯,而且跟Hadoop類似怯伊,Storm提供的編程原語也很簡單
高性能琳轿,低延遲:可以應用于廣告搜索引擎這種要求對廣告主的操作進行實時響應的場景。
分布式:可以輕松應對數據量大耿芹,單機搞不定的場景
可擴展: 隨著業(yè)務發(fā)展崭篡,數據量和計算量越來越大,系統(tǒng)可水平擴展
容錯:單個節(jié)點掛了不影響應用
消息不丟失:保證消息處理

不過Storm不是一個完整的解決方案吧秕。使用Storm時你需要關注以下幾點:
如果使用的是自己的消息隊列琉闪,需要加入消息隊列做數據的來源和產出的代碼
需要考慮如何做故障處理:如何記錄消息隊列處理的進度,應對Storm重啟砸彬,掛掉的場景
需要考慮如何做消息的回退:如果某些消息處理一直失敗怎么辦颠毙?

Storm的應用
跟Hadoop不一樣,Storm是沒有包括任何存儲概念的計算系統(tǒng)砂碉。這就讓Storm可以用在多種不同的場景下:非傳統(tǒng)場景下數據動態(tài)到達或者數據存儲在數據庫這樣的存儲系統(tǒng)里(或數據是被實時操控其他設備的控制器(如交易系統(tǒng))所消費)
Storm有很多應用:實時分析蛀蜜,在線機器學習(online machine learning),連續(xù)計算(continuous computation)增蹭,分布式遠程過程調用(RPC)滴某、ETL等。Storm處理速度很快:每個節(jié)點每秒鐘可以處理超過百萬的數據組。它是可擴展(scalable)霎奢,容錯(fault-tolerant)偏瓤,保證你的數據會被處理,并且很容易搭建和操作椰憋。

例如Nathan Marz提供的例子厅克,產生Twitter的趨勢信息。Twitter從海量推文中抽取趨勢信息橙依,并在本地區(qū)域和國家層級進行維護证舟。這意味者一旦一個案例開始出現,Twitter的話題趨勢算法就能實時的鑒別出這個話題窗骑。這個實時的算法就是通過在Storm上連續(xù)分析Twitter數據來實現的女责。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市创译,隨后出現的幾起案子抵知,更是在濱河造成了極大的恐慌,老刑警劉巖软族,帶你破解...
    沈念sama閱讀 206,602評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件刷喜,死亡現場離奇詭異,居然都是意外死亡立砸,警方通過查閱死者的電腦和手機掖疮,發(fā)現死者居然都...
    沈念sama閱讀 88,442評論 2 382
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來颗祝,“玉大人浊闪,你說我怎么就攤上這事÷荽粒” “怎么了搁宾?”我有些...
    開封第一講書人閱讀 152,878評論 0 344
  • 文/不壞的土叔 我叫張陵猿妈,是天一觀的道長培愁。 經常有香客問我,道長雷厂,這世上最難降的妖魔是什么凤藏? 我笑而不...
    開封第一講書人閱讀 55,306評論 1 279
  • 正文 為了忘掉前任奸忽,我火速辦了婚禮,結果婚禮上揖庄,老公的妹妹穿的比我還像新娘栗菜。我一直安慰自己,他們只是感情好蹄梢,可當我...
    茶點故事閱讀 64,330評論 5 373
  • 文/花漫 我一把揭開白布疙筹。 她就那樣靜靜地躺著富俄,像睡著了一般。 火紅的嫁衣襯著肌膚如雪而咆。 梳的紋絲不亂的頭發(fā)上霍比,一...
    開封第一講書人閱讀 49,071評論 1 285
  • 那天,我揣著相機與錄音暴备,去河邊找鬼悠瞬。 笑死,一個胖子當著我的面吹牛涯捻,可吹牛的內容都是我干的浅妆。 我是一名探鬼主播,決...
    沈念sama閱讀 38,382評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼障癌,長吁一口氣:“原來是場噩夢啊……” “哼凌外!你這毒婦竟也來了?” 一聲冷哼從身側響起涛浙,我...
    開封第一講書人閱讀 37,006評論 0 259
  • 序言:老撾萬榮一對情侶失蹤康辑,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后轿亮,有當地人在樹林里發(fā)現了一具尸體疮薇,經...
    沈念sama閱讀 43,512評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 35,965評論 2 325
  • 正文 我和宋清朗相戀三年哀托,在試婚紗的時候發(fā)現自己被綠了惦辛。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片劳秋。...
    茶點故事閱讀 38,094評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡仓手,死狀恐怖,靈堂內的尸體忽然破棺而出玻淑,到底是詐尸還是另有隱情嗽冒,我是刑警寧澤,帶...
    沈念sama閱讀 33,732評論 4 323
  • 正文 年R本政府宣布补履,位于F島的核電站添坊,受9級特大地震影響,放射性物質發(fā)生泄漏箫锤。R本人自食惡果不足惜贬蛙,卻給世界環(huán)境...
    茶點故事閱讀 39,283評論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望谚攒。 院中可真熱鬧阳准,春花似錦、人聲如沸馏臭。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,286評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至绕沈,卻和暖如春锐想,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背乍狐。 一陣腳步聲響...
    開封第一講書人閱讀 31,512評論 1 262
  • 我被黑心中介騙來泰國打工赠摇, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人浅蚪。 一個月前我還...
    沈念sama閱讀 45,536評論 2 354
  • 正文 我出身青樓蝉稳,卻偏偏與公主長得像,于是被迫代替她去往敵國和親掘鄙。 傳聞我的和親對象是個殘疾皇子耘戚,可洞房花燭夜當晚...
    茶點故事閱讀 42,828評論 2 345

推薦閱讀更多精彩內容