Kafka使用場景分析

什么是Kafka

這里我們采用Kafka官網(wǎng)的定義衷戈,Kafka是一個分布式流處理平臺。在Kafka中挤渐,客戶端和服務(wù)器使用一個簡單现柠、高性能院领、支持多語言的 TCP 協(xié)議https://kafka.apache.org/protocol.html
簡單說够吩,它是一個消息系統(tǒng)比然,分布式消息是一種通信機制,和 RPC周循、HTTP强法、RMI 等不一樣,消息中間件采用分布式中間代理的方式進行通信湾笛,如下圖所示:

image.png

另外一個角度饮怯,從數(shù)據(jù)結(jié)構(gòu)上說,它是一個隊列嚎研,里面放的是消息蓖墅,我們把這個消息叫做Topic,Kafka 通過 Topic 對存儲的流數(shù)據(jù)進行分類临扮,我們把一個Topic稱為一個主題论矾。

一個Topic由Broker上的一個或者多個Partition構(gòu)成,可以把一個Partition想象成一個Log杆勇,消息通過追加的方式寫入Log贪壳。Partition內(nèi)部是保證了消息的順序的,Partition之間是不保證消息順序的蚜退,一個典型的包含三個Partition的結(jié)構(gòu)及消息寫入的描述如下圖:

image.png

這里寫入的每條記錄中包含一個key闰靴,一個value和一個timestamp(時間戳)。

Kafka可以作為一個集群钻注,運行在一臺或者多臺服務(wù)器上蚂且。

Kafka的使用場景

kafka可以說是在系統(tǒng)架構(gòu)中額外引入的一個組件,引入也是有開銷的幅恋,那我們什么時候需要引入他呢膘掰。他有如下幾個作用:

解耦

采用了消息中間件之后,上游業(yè)務(wù)系統(tǒng)發(fā)送消息,先存儲在消息中間件识埋,然后由消息中間件將消息分發(fā)到對應(yīng)的業(yè)務(wù)模塊應(yīng)用(分布式生產(chǎn)者 - 消費者模式)。這種異步的方式零渐,減少了服務(wù)之間的耦合程度窒舟。

冗余(也就是做存貯)
擴展
流量削峰
可恢復(fù)性
順序保證
緩沖
異步通信

有這些需求的時候可以考慮使用kafka。

參考資料:https://kafka.apachecn.org/

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末诵盼,一起剝皮案震驚了整個濱河市惠豺,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌风宁,老刑警劉巖洁墙,帶你破解...
    沈念sama閱讀 217,542評論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異戒财,居然都是意外死亡热监,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,822評論 3 394
  • 文/潘曉璐 我一進店門饮寞,熙熙樓的掌柜王于貴愁眉苦臉地迎上來孝扛,“玉大人,你說我怎么就攤上這事幽崩】嗍迹” “怎么了?”我有些...
    開封第一講書人閱讀 163,912評論 0 354
  • 文/不壞的土叔 我叫張陵慌申,是天一觀的道長陌选。 經(jīng)常有香客問我,道長蹄溉,這世上最難降的妖魔是什么咨油? 我笑而不...
    開封第一講書人閱讀 58,449評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮类缤,結(jié)果婚禮上臼勉,老公的妹妹穿的比我還像新娘。我一直安慰自己餐弱,他們只是感情好宴霸,可當我...
    茶點故事閱讀 67,500評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著膏蚓,像睡著了一般瓢谢。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上驮瞧,一...
    開封第一講書人閱讀 51,370評論 1 302
  • 那天氓扛,我揣著相機與錄音,去河邊找鬼。 笑死采郎,一個胖子當著我的面吹牛千所,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播蒜埋,決...
    沈念sama閱讀 40,193評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼淫痰,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了整份?” 一聲冷哼從身側(cè)響起待错,我...
    開封第一講書人閱讀 39,074評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎烈评,沒想到半個月后火俄,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,505評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡讲冠,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,722評論 3 335
  • 正文 我和宋清朗相戀三年瓜客,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片沟启。...
    茶點故事閱讀 39,841評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡忆家,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出德迹,到底是詐尸還是另有隱情芽卿,我是刑警寧澤,帶...
    沈念sama閱讀 35,569評論 5 345
  • 正文 年R本政府宣布胳搞,位于F島的核電站卸例,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏肌毅。R本人自食惡果不足惜筷转,卻給世界環(huán)境...
    茶點故事閱讀 41,168評論 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望悬而。 院中可真熱鬧呜舒,春花似錦、人聲如沸笨奠。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,783評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽般婆。三九已至到腥,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間蔚袍,已是汗流浹背乡范。 一陣腳步聲響...
    開封第一講書人閱讀 32,918評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人晋辆。 一個月前我還...
    沈念sama閱讀 47,962評論 2 370
  • 正文 我出身青樓渠脉,卻偏偏與公主長得像,于是被迫代替她去往敵國和親栈拖。 傳聞我的和親對象是個殘疾皇子连舍,可洞房花燭夜當晚...
    茶點故事閱讀 44,781評論 2 354