高并發(fā)架構系列:Kafka、RocketMQ疹味、RabbitMQ的優(yōu)劣勢比較

在高并發(fā)業(yè)務場景下仅叫,典型的阿里雙11秒殺等業(yè)務,消息隊列中間件在流量削峰糙捺、解耦上有不可替代的作用诫咱。

之前介紹了《MQ消息隊列的12點核心原理總結》,以及《如何從0到1設計一個MQ消息隊列》洪灯,以及《RPC遠程調用和消息隊列MQ的區(qū)別》坎缭。

今天我們一起來探討:

全量的消息隊列究竟有哪些? Kafka、RocketMQ幻锁、RabbitMQ的優(yōu)劣勢比較凯亮,以及消息隊列的選型


最全MQ消息隊列有哪些?

那么目前在業(yè)界有哪些比較知名的消息引擎呢哄尔?如下圖所示

這里面幾乎完全列舉了當下比較知名的消息引擎假消,包括:

?ZeroMQ

?推特的Distributedlog

?ActiveMQ:Apache旗下的老牌消息引擎

?RabbitMQ、Kafka:AMQP的默認實現(xiàn)岭接。

?RocketMQ

?Artemis:Apache的ActiveMQ下的子項目

?Apollo:同樣為Apache的ActiveMQ的子項目的號稱下一代消息引擎

?商業(yè)化的消息引擎IronMQ

?以及實現(xiàn)了JMS(Java Message Service)標準的OpenMQ富拗。


MQ消息隊列的技術應用

1.解耦

解耦是消息隊列要解決的最本質問題。

2.最終一致性

最終一致性指的是兩個系統(tǒng)的狀態(tài)保持一致鸣戴,要么都成功啃沪,要么都失敗

最終一致性不是消息隊列的必備特性窄锅,但確實可以依靠消息隊列來做最終一致性的事情创千。

2.廣播

消息隊列的基本功能之一是進行廣播。

有了消息隊列入偷,我們只需要關心消息是否送達了隊列追驴,至于誰希望訂閱,是下游的事情疏之,無疑極大地減少了開發(fā)和聯(lián)調的工作量殿雪。

3.錯峰與流控

典型的使用場景就是秒殺業(yè)務用于流量削峰場景。

由于篇幅的關系锋爪,本文重點介紹消息隊列比較丙曙,詳細應用場景請參考:《什么是流量削峰?如何解決秒殺業(yè)務的削峰場景》其骄。


Kafka亏镰、RocketMQ、RabbitMQ比較

1.ActiveMQ

優(yōu)點

?單機吞吐量:萬級

?topic數(shù)量都吞吐量的影響:

?時效性:ms級

?可用性:高年栓,基于主從架構實現(xiàn)高可用性

?消息可靠性:有較低的概率丟失數(shù)據(jù)

?功能支持:MQ領域的功能極其完備

缺點:

官方社區(qū)現(xiàn)在對ActiveMQ 5.x維護越來越少拆挥,較少在大規(guī)模吞吐的場景中使用。

2.Kafka

號稱大數(shù)據(jù)的殺手锏某抓,談到大數(shù)據(jù)領域內的消息傳輸纸兔,則繞不開Kafka,這款為大數(shù)據(jù)而生的消息中間件否副,以其百萬級TPS的吞吐量名聲大噪汉矿,迅速成為大數(shù)據(jù)領域的寵兒,在數(shù)據(jù)采集备禀、傳輸洲拇、存儲的過程中發(fā)揮著舉足輕重的作用奈揍。

Apache Kafka它最初由LinkedIn公司基于獨特的設計實現(xiàn)為一個分布式的提交日志系統(tǒng)( a distributed commit log),之后成為Apache項目的一部分赋续。

目前已經(jīng)被LinkedIn男翰,Uber, Twitter, Netflix等大公司所采納。

優(yōu)點

?性能卓越纽乱,單機寫入TPS約在百萬條/秒蛾绎,最大的優(yōu)點,就是吞吐量高鸦列。

?時效性:ms級

?可用性:非常高租冠,kafka是分布式的,一個數(shù)據(jù)多個副本薯嗤,少數(shù)機器宕機顽爹,不會丟失數(shù)據(jù),不會導致不可用

?消費者采用Pull方式獲取消息, 消息有序, 通過控制能夠保證所有消息被消費且僅被消費一次;

?有優(yōu)秀的第三方Kafka Web管理界面Kafka-Manager骆姐;

?在日志領域比較成熟镜粤,被多家公司和多個開源項目使用;

?功能支持:功能較為簡單玻褪,主要支持簡單的MQ功能繁仁,在大數(shù)據(jù)領域的實時計算以及日志采集被大規(guī)模使用

缺點:

?Kafka單機超過64個隊列/分區(qū),Load會發(fā)生明顯的飆高現(xiàn)象归园,隊列越多,load越高稚矿,發(fā)送消息響應時間變長

?使用短輪詢方式庸诱,實時性取決于輪詢間隔時間;

?消費失敗不支持重試晤揣;

?支持消息順序桥爽,但是一臺代理宕機后,就會產生消息亂序昧识;

?社區(qū)更新較慢钠四;

3.RabbitMQ

RabbitMQ 2007年發(fā)布,是一個在AMQP(高級消息隊列協(xié)議)基礎上完成的跪楞,可復用的企業(yè)消息系統(tǒng)缀去,是當前最主流的消息中間件之一。

RabbitMQ優(yōu)點

?由于erlang語言的特性甸祭,mq 性能較好缕碎,高并發(fā);

?吞吐量到萬級池户,MQ功能比較完備??

?健壯咏雌、穩(wěn)定凡怎、易用、跨平臺赊抖、支持多種語言统倒、文檔齊全;

?開源提供的管理界面非常棒氛雪,用起來很好用??

?社區(qū)活躍度高房匆;

RabbitMQ缺點:

?erlang開發(fā),很難去看懂源碼注暗,基本職能依賴于開源社區(qū)的快速維護和修復bug坛缕,不利于做二次開發(fā)和維護。

?RabbitMQ確實吞吐量會低一些捆昏,這是因為他做的實現(xiàn)機制比較重赚楚。??

?需要學習比較復雜的接口和協(xié)議,學習和維護成本較高骗卜。

4.RocketMQ

RocketMQ出自 阿里公司的開源產品宠页,用 Java 語言實現(xiàn),在設計時參考了 Kafka寇仓,并做出了自己的一些改進举户。

RocketMQ在阿里集團被廣泛應用在訂單,交易遍烦,充值俭嘁,流計算,消息推送服猪,日志流式處理供填,binglog分發(fā)等場景。

RocketMQ優(yōu)點:

?單機吞吐量:十萬級

?可用性:非常高罢猪,分布式架構

?消息可靠性:經(jīng)過參數(shù)優(yōu)化配置近她,消息可以做到0丟失

?功能支持:MQ功能較為完善,還是分布式的膳帕,擴展性好

?支持10億級別的消息堆積粘捎,不會因為堆積導致性能下降

?源碼是java,我們可以自己閱讀源碼危彩,定制自己公司的MQ攒磨,可以掌控?

RocketMQ缺點:

?支持的客戶端語言不多,目前是java及c++汤徽,其中c++不成熟咧纠;

?社區(qū)活躍度一般

?沒有在 mq 核心中去實現(xiàn)JMS等接口,有些系統(tǒng)要遷移需要修改大量代碼?


消息隊列選擇建議

1.Kafka

Kafka主要特點是基于Pull的模式來處理消息消費泻骤,追求高吞吐量漆羔,一開始的目的就是用于日志收集和傳輸梧奢,適合產生大量數(shù)據(jù)的互聯(lián)網(wǎng)服務的數(shù)據(jù)收集業(yè)務。

大型公司建議可以選用演痒,如果有日志采集功能亲轨,肯定是首選kafka了。

2.RocketMQ

天生為金融互聯(lián)網(wǎng)領域而生鸟顺,對于可靠性要求很高的場景惦蚊,尤其是電商里面的訂單扣款,以及業(yè)務削峰讯嫂,在大量交易涌入時蹦锋,后端可能無法及時處理的情況。

RoketMQ在穩(wěn)定性上可能更值得信賴欧芽,這些業(yè)務場景在阿里雙11已經(jīng)經(jīng)歷了多次考驗莉掂,如果你的業(yè)務有上述并發(fā)場景,建議可以選擇RocketMQ千扔。

3.RabbitMQ

RabbitMQ :結合erlang語言本身的并發(fā)優(yōu)勢憎妙,性能較好,社區(qū)活躍度也比較高曲楚,但是不利于做二次開發(fā)和維護厘唾。不過,RabbitMQ的社區(qū)十分活躍龙誊,可以解決開發(fā)過程中遇到的bug抚垃。

如果你的數(shù)據(jù)量沒有那么大,小公司優(yōu)先選擇功能比較完備的RabbitMQ趟大。

覺得不錯請點贊支持讯柔,歡迎留言或進我的個人群179961551領取【架構資料專題目合集90期】、【BATJTMD大廠JAVA面試真題1000+】护昧,本群專用于學習交流技術、分享面試機會粗截,拒絕廣告惋耙,我也會在群內不定期答題、探討熊昌。


熱文導讀:Java 面試題目最全集合1000+ 大放送绽榛,能答對70%就去BATJTMD

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市婿屹,隨后出現(xiàn)的幾起案子灭美,更是在濱河造成了極大的恐慌,老刑警劉巖昂利,帶你破解...
    沈念sama閱讀 206,482評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件届腐,死亡現(xiàn)場離奇詭異铁坎,居然都是意外死亡,警方通過查閱死者的電腦和手機犁苏,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,377評論 2 382
  • 文/潘曉璐 我一進店門硬萍,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人围详,你說我怎么就攤上這事朴乖。” “怎么了助赞?”我有些...
    開封第一講書人閱讀 152,762評論 0 342
  • 文/不壞的土叔 我叫張陵买羞,是天一觀的道長。 經(jīng)常有香客問我雹食,道長畜普,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,273評論 1 279
  • 正文 為了忘掉前任婉徘,我火速辦了婚禮漠嵌,結果婚禮上,老公的妹妹穿的比我還像新娘盖呼。我一直安慰自己儒鹿,他們只是感情好,可當我...
    茶點故事閱讀 64,289評論 5 373
  • 文/花漫 我一把揭開白布几晤。 她就那樣靜靜地躺著约炎,像睡著了一般。 火紅的嫁衣襯著肌膚如雪蟹瘾。 梳的紋絲不亂的頭發(fā)上圾浅,一...
    開封第一講書人閱讀 49,046評論 1 285
  • 那天,我揣著相機與錄音憾朴,去河邊找鬼狸捕。 笑死,一個胖子當著我的面吹牛众雷,可吹牛的內容都是我干的灸拍。 我是一名探鬼主播,決...
    沈念sama閱讀 38,351評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼砾省,長吁一口氣:“原來是場噩夢啊……” “哼鸡岗!你這毒婦竟也來了?” 一聲冷哼從身側響起编兄,我...
    開封第一講書人閱讀 36,988評論 0 259
  • 序言:老撾萬榮一對情侶失蹤轩性,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后狠鸳,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體揣苏,經(jīng)...
    沈念sama閱讀 43,476評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡悯嗓,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 35,948評論 2 324
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了舒岸。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片绅作。...
    茶點故事閱讀 38,064評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖蛾派,靈堂內的尸體忽然破棺而出俄认,到底是詐尸還是另有隱情,我是刑警寧澤洪乍,帶...
    沈念sama閱讀 33,712評論 4 323
  • 正文 年R本政府宣布眯杏,位于F島的核電站,受9級特大地震影響壳澳,放射性物質發(fā)生泄漏岂贩。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,261評論 3 307
  • 文/蒙蒙 一巷波、第九天 我趴在偏房一處隱蔽的房頂上張望萎津。 院中可真熱鬧,春花似錦抹镊、人聲如沸锉屈。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,264評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽颈渊。三九已至,卻和暖如春终佛,著一層夾襖步出監(jiān)牢的瞬間俊嗽,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,486評論 1 262
  • 我被黑心中介騙來泰國打工铃彰, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留绍豁,地道東北人。 一個月前我還...
    沈念sama閱讀 45,511評論 2 354
  • 正文 我出身青樓牙捉,卻偏偏與公主長得像竹揍,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子鹃共,可洞房花燭夜當晚...
    茶點故事閱讀 42,802評論 2 345

推薦閱讀更多精彩內容