大數(shù)據(jù)經典架構:Lambda架構與Kappa架構

Lambda 架構:

Lambda 架構總共由三層系統(tǒng)組成的:批處理層(Batch Layer)京闰,速度處理層(Speed Layer)经伙,以及用于響應查詢的服務層(Serving Layer)匾嘱。

image

批處理層:
使用可處理大量數(shù)據(jù)的分布式處理系統(tǒng)預先計算結果钳降。它通過處理所有的已有歷史數(shù)據(jù)來實現(xiàn)數(shù)據(jù)的準確性陷虎。這意味著它是基于完整的數(shù)據(jù)集來重新計算的菩掏,能夠修復任何錯誤魂角,然后更新現(xiàn)有的數(shù)據(jù)視圖。輸出通常存儲在只讀數(shù)據(jù)庫中智绸,更新則完全取代現(xiàn)有的預先計算好的視圖野揪。

速度層:
通過提供最新數(shù)據(jù)的實時視圖來最小化延遲。速度層所生成的數(shù)據(jù)視圖可能不如批處理層最終生成的視圖那樣準確或完整瞧栗,但它們幾乎在收到數(shù)據(jù)后立即可用斯稳。而當同樣的數(shù)據(jù)在批處理層處理完成后,在速度層的數(shù)據(jù)就可以被替代掉了迹恐。

總結:

批處理層保證數(shù)據(jù)的完整性和準確性挣惰,速度層保證數(shù)據(jù)的時效性,但是缺點是需要維護兩套邏輯代碼殴边,維護較復雜憎茂,有沒有可能在批處理中實現(xiàn)實時計算,或者在實時處理中實現(xiàn)批處理計算呢锤岸?于是就有了下面的kappa架構竖幔。

Kappa架構:

image

與 Lambda 架構不同的是,Kappa 架構去掉了批處理層這一體系結構能耻,而只保留了速度層赏枚。你只需要在業(yè)務邏輯改變又或者是代碼更改的時候進行數(shù)據(jù)的重新處理亡驰。

借用kafka的架構來說明kappa架構:

kafka可以通過設置來決定數(shù)據(jù)的保留時長,七天饿幅、一個月凡辱、或者永久保留,且kafka是通過offset來決定從哪里讀取數(shù)據(jù)栗恩,因此當我們的業(yè)務邏輯改變時透乾,需要從新讀取所有歷史數(shù)據(jù)時,只需要把offset設置為0即可磕秤。

總結:

1乳乌、如果你所面對的業(yè)務邏輯是設計一種穩(wěn)健的機器學習模型來預測即將發(fā)生的事情,那么你應該優(yōu)先考慮使用 Lambda 架構市咆,因為它擁有批處理層和速度層來確保更少的錯誤汉操。

2、如果你所面對的業(yè)務邏輯是希望實時性比較高蒙兰,而且客戶端又是根據(jù)運行時發(fā)生的實時事件來做出回應的磷瘤,那么你就應該優(yōu)先考慮使用 Kappa 架構。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末搜变,一起剝皮案震驚了整個濱河市采缚,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌挠他,老刑警劉巖扳抽,帶你破解...
    沈念sama閱讀 219,188評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異殖侵,居然都是意外死亡贸呢,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,464評論 3 395
  • 文/潘曉璐 我一進店門拢军,熙熙樓的掌柜王于貴愁眉苦臉地迎上來贮尉,“玉大人,你說我怎么就攤上這事朴沿。” “怎么了败砂?”我有些...
    開封第一講書人閱讀 165,562評論 0 356
  • 文/不壞的土叔 我叫張陵赌渣,是天一觀的道長。 經常有香客問我昌犹,道長坚芜,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,893評論 1 295
  • 正文 為了忘掉前任斜姥,我火速辦了婚禮鸿竖,結果婚禮上沧竟,老公的妹妹穿的比我還像新娘。我一直安慰自己缚忧,他們只是感情好悟泵,可當我...
    茶點故事閱讀 67,917評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著闪水,像睡著了一般糕非。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上球榆,一...
    開封第一講書人閱讀 51,708評論 1 305
  • 那天朽肥,我揣著相機與錄音,去河邊找鬼持钉。 笑死衡招,一個胖子當著我的面吹牛,可吹牛的內容都是我干的每强。 我是一名探鬼主播始腾,決...
    沈念sama閱讀 40,430評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼舀射!你這毒婦竟也來了窘茁?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 39,342評論 0 276
  • 序言:老撾萬榮一對情侶失蹤脆烟,失蹤者是張志新(化名)和其女友劉穎山林,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體邢羔,經...
    沈念sama閱讀 45,801評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡驼抹,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,976評論 3 337
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了拜鹤。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片框冀。...
    茶點故事閱讀 40,115評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖敏簿,靈堂內的尸體忽然破棺而出明也,到底是詐尸還是另有隱情,我是刑警寧澤惯裕,帶...
    沈念sama閱讀 35,804評論 5 346
  • 正文 年R本政府宣布温数,位于F島的核電站,受9級特大地震影響蜻势,放射性物質發(fā)生泄漏撑刺。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,458評論 3 331
  • 文/蒙蒙 一握玛、第九天 我趴在偏房一處隱蔽的房頂上張望够傍。 院中可真熱鬧甫菠,春花似錦、人聲如沸冕屯。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,008評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽愕撰。三九已至刹衫,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間搞挣,已是汗流浹背带迟。 一陣腳步聲響...
    開封第一講書人閱讀 33,135評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留囱桨,地道東北人仓犬。 一個月前我還...
    沈念sama閱讀 48,365評論 3 373
  • 正文 我出身青樓,卻偏偏與公主長得像舍肠,于是被迫代替她去往敵國和親搀继。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,055評論 2 355