消息隊列

首先抄一段解釋說明怀伦。。山林。
消息隊列中間件是分布式系統(tǒng)中重要的組件房待,主要解決應用耦合,異步消息驼抹,流量削鋒等問題桑孩,實現(xiàn)高性能,高可用框冀,可伸縮和最終一致性架構(gòu)

消息隊列的基本概念

  1. 生產(chǎn)者流椒,發(fā)送消息到消息隊列即生產(chǎn)消息的上游
  2. 消費者,接收消息的下游
  3. 消息隊列明也,生產(chǎn)者產(chǎn)生消息發(fā)送給消息隊列宣虾,消費者從消息隊列取出關注的消息進行消費
  4. topic,即主題温数,可以供消費者訂閱绣硝,這樣消費者就只取自己關注的消息或者消息隊列只將消費者關注的主題相關的消息發(fā)送給該消費者
  5. broker,MQ集群包含多臺服務器撑刺,其中一臺就稱為broker

消息傳輸模型

req/rep(請求答復模式):主要用于遠程調(diào)用及任務分配等域那。
pub/sub(訂閱模式):主要用于數(shù)據(jù)分發(fā)。
push/pull(管道模式):主要用于多任務并行。

  1. 要保證數(shù)據(jù)處理的順序性
  2. 傳輸過程中需要注意的是如何進行負載均衡的分配
  3. 為防止消息隊列的數(shù)據(jù)堆積需要設置消息的高水位
  4. 考慮到由于消息堆積或者節(jié)點失效可能導致數(shù)據(jù)丟失次员,所以需要進行消息的持久化
  5. 如果需要消息支持事務的話败许,要支持處理失敗的消息回滾

下面以kafka為例加深對消息隊列的理解

Kafka設計解析(一)- Kafka背景及架構(gòu)介紹
讀完上面的文章提出幾個問題:

  1. 消息隊列即FIFO,一個隊列好保證順序淑蔚,假如多個隊列接收一個producer的消息是怎么保證消息的順序性的呢市殷?

在發(fā)送一條消息時,可以指定這條消息的key刹衫,Producer根據(jù)這個key和Partition機制來判斷應該將這條消息發(fā)送到哪個Parition醋寝。Paritition機制可以通過指定Producer的paritition. class這一參數(shù)來指定,該class必須實現(xiàn)kafka.producer.Partitioner接口带迟。本例中如果key可以被解析為整數(shù)則將對應的整數(shù)與Partition總數(shù)取余音羞,該消息會被發(fā)送到該數(shù)對應的Partition。(每個Parition都會有個序號,序號從0開始)

  1. 這里講了producer到broker進行負載均衡的方式仓犬,都有哪些Paritition機制
  2. consumer以group為單位去pull消息嗅绰,在group范圍內(nèi)進行負載均衡,這里的負載均衡是怎么做的呢搀继,也是哈希取余嗎
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末窘面,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子叽躯,更是在濱河造成了極大的恐慌财边,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,110評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件点骑,死亡現(xiàn)場離奇詭異酣难,居然都是意外死亡,警方通過查閱死者的電腦和手機黑滴,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,443評論 3 395
  • 文/潘曉璐 我一進店門鲸鹦,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人跷跪,你說我怎么就攤上這事馋嗜。” “怎么了吵瞻?”我有些...
    開封第一講書人閱讀 165,474評論 0 356
  • 文/不壞的土叔 我叫張陵葛菇,是天一觀的道長。 經(jīng)常有香客問我橡羞,道長眯停,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,881評論 1 295
  • 正文 為了忘掉前任卿泽,我火速辦了婚禮莺债,結(jié)果婚禮上滋觉,老公的妹妹穿的比我還像新娘。我一直安慰自己齐邦,他們只是感情好椎侠,可當我...
    茶點故事閱讀 67,902評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著措拇,像睡著了一般我纪。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上丐吓,一...
    開封第一講書人閱讀 51,698評論 1 305
  • 那天浅悉,我揣著相機與錄音,去河邊找鬼券犁。 笑死术健,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的粘衬。 我是一名探鬼主播荞估,決...
    沈念sama閱讀 40,418評論 3 419
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼色难!你這毒婦竟也來了泼舱?” 一聲冷哼從身側(cè)響起等缀,我...
    開封第一講書人閱讀 39,332評論 0 276
  • 序言:老撾萬榮一對情侶失蹤枷莉,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后尺迂,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體笤妙,經(jīng)...
    沈念sama閱讀 45,796評論 1 316
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,968評論 3 337
  • 正文 我和宋清朗相戀三年噪裕,在試婚紗的時候發(fā)現(xiàn)自己被綠了蹲盘。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,110評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡膳音,死狀恐怖召衔,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情祭陷,我是刑警寧澤苍凛,帶...
    沈念sama閱讀 35,792評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站兵志,受9級特大地震影響醇蝴,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜想罕,卻給世界環(huán)境...
    茶點故事閱讀 41,455評論 3 331
  • 文/蒙蒙 一悠栓、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦惭适、人聲如沸笙瑟。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,003評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽逮走。三九已至,卻和暖如春今阳,著一層夾襖步出監(jiān)牢的瞬間师溅,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,130評論 1 272
  • 我被黑心中介騙來泰國打工盾舌, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留墓臭,地道東北人。 一個月前我還...
    沈念sama閱讀 48,348評論 3 373
  • 正文 我出身青樓妖谴,卻偏偏與公主長得像窿锉,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子膝舅,可洞房花燭夜當晚...
    茶點故事閱讀 45,047評論 2 355

推薦閱讀更多精彩內(nèi)容