RocketMQ 是阿里開源的消息中間件掸绞，它是一個開源的分布式消息傳遞和流式數(shù)據(jù)平臺统扳。RocketMQ提供億級消息的堆積能力酝碳，這不是重點(diǎn)捍歪，重點(diǎn)是堆積了億級的消息后户辱，依然保持寫入低延遲鸵钝！
我們來看一下它的架構(gòu)圖

rmq-basic-arc.png

NameServer

NameServer主要包括兩個主要功能：

• 1.管理brokers：broker服務(wù)器啟動時會注冊到NameServer上必逆，并且兩者之間保持心跳監(jiān)測機(jī)制怠堪，以此來保證NameServer知道broker的存活狀態(tài)；
• 2.路由信息管理：每一臺NameServer都存有全部的broker集群信息和生產(chǎn)者/消費(fèi)者客戶端的請求信息名眉；

Namesrv用于存儲Topic粟矿、Broker關(guān)系信息，功能簡單损拢，穩(wěn)定性高陌粹。多個Namesrv之間相互沒有通信，單臺Namesrv宕機(jī)不影響其他Namesrv與集群福压；即使整個Namesrv集群宕機(jī)掏秩，已經(jīng)正常工作的Producer，Consumer隧膏，Broker仍然能正常工作哗讥，但新起的Producer, Consumer，Broker就無法工作胞枕。

注意：
Namesrv壓力不會太大杆煞，平時主要開銷是在維持心跳和提供Topic-Broker的關(guān)系數(shù)據(jù)。但有一點(diǎn)需要注意腐泻，Broker向Namesr發(fā)心跳時决乎，會帶上當(dāng)前自己所負(fù)責(zé)的所有Topic信息，如果Topic個數(shù)太多（萬級別）派桩，會導(dǎo)致一次心跳中构诚，就Topic的數(shù)據(jù)就幾十M，網(wǎng)絡(luò)情況差的話铆惑，網(wǎng)絡(luò)傳輸失敗范嘱，心跳失敗，導(dǎo)致Namesrv誤認(rèn)為Broker心跳失敗员魏。

Broker

Broker的四大作用：

請求分發(fā)：是client的入口丑蛤，接收來自生產(chǎn)者消費(fèi)者的請求
client管理：管理客戶（產(chǎn)品/消費(fèi)者）并維護(hù)消費(fèi)者的主題訂閱。
數(shù)據(jù)存儲：提供簡單的api來查詢磁盤上的臨時數(shù)據(jù)
高可用：主從節(jié)點(diǎn)間同步數(shù)據(jù)保證高可用

Broker的優(yōu)勢

1.負(fù)載均衡：Broker上存Topic信息撕阎，Topic由多個隊(duì)列組成受裹，隊(duì)列會平均分散在多個Broker上，而Producer的發(fā)送機(jī)制保證消息盡量平均分布到所有隊(duì)列中，最終效果就是所有消息都平均落在每個Broker上棉饶。

2.動態(tài)伸縮能力（非順序消息）：Broker的伸縮性體現(xiàn)在兩個維度：Topic, Broker厦章。

Topic維度：假如一個Topic的消息量特別大，但集群水位壓力還是很低照藻，就可以擴(kuò)大該Topic的隊(duì)列數(shù)袜啃，Topic的隊(duì)列數(shù)跟發(fā)送、消費(fèi)速度成正比岩梳。
Broker維度：如果集群水位很高了囊骤，需要擴(kuò)容，直接加機(jī)器部署B(yǎng)roker就可以冀值。Broker起來后想Namesrv注冊也物，Producer、Consumer通過Namesrv發(fā)現(xiàn)新Broker列疗，立即跟該Broker直連滑蚯，收發(fā)消息。

3.高可用&高可靠

高可用：集群部署時一般都為主備抵栈，備機(jī)實(shí)時從主機(jī)同步消息告材，如果其中一個主機(jī)宕機(jī)，備機(jī)提供消費(fèi)服務(wù)古劲，但不提供寫服務(wù)斥赋。
高可靠：所有發(fā)往broker的消息，有同步刷盤和異步刷盤機(jī)制产艾；同步刷盤時疤剑，消息寫入物理文件才會返回成功，異步刷盤時闷堡，只有機(jī)器宕機(jī)隘膘，才會產(chǎn)生消息丟失，broker掛掉可能會發(fā)生杠览，但是機(jī)器宕機(jī)崩潰是很少發(fā)生的弯菊，除非突然斷電

Producer

Producer啟動時，需要指定Namesrv的地址踱阿，從Namesrv集群中選一臺建立長連接管钳。如果該Namesrv宕機(jī)，會自動連其他Namesrv软舌。直到有可用的Namesrv為止才漆。生產(chǎn)者每30秒從Namesrv獲取Topic跟Broker的映射關(guān)系，更新到本地內(nèi)存中葫隙。再跟Topic涉及的所有Broker建立長連接栽烂，每隔30秒發(fā)一次心跳躏仇。
RocketMQ提供三種發(fā)送方式：

同步：在廣泛的場景中使用可靠的同步傳輸恋脚，如重要的通知信息腺办、短信通知、短信營銷系統(tǒng)等糟描。
異步：異步發(fā)送通常用于響應(yīng)時間敏感的業(yè)務(wù)場景怀喉，發(fā)送出去即刻返回，利用回調(diào)做后續(xù)處理船响。
一次性：一次性發(fā)送用于需要中等可靠性的情況躬拢，如日志收集，發(fā)送出去即完成见间，不用等待發(fā)送結(jié)果聊闯，回調(diào)等等。

生產(chǎn)者端的負(fù)載均衡

生產(chǎn)者發(fā)送時米诉，會自動輪詢當(dāng)前所有可發(fā)送的broker菱蔬，一條消息發(fā)送成功，下次換另外一個broker發(fā)送史侣，以達(dá)到消息平均落到所有的broker上拴泌。

Consumer

消費(fèi)客戶端的連接方式和生產(chǎn)者類似。

消費(fèi)者端的負(fù)載均衡

先討論消費(fèi)者的消費(fèi)模式惊橱，消費(fèi)者有兩種模式消費(fèi)：集群消費(fèi)蚪腐，廣播消費(fèi)。

廣播消費(fèi)：每個消費(fèi)者消費(fèi)Topic下的所有隊(duì)列税朴。
集群消費(fèi)：一個topic可以由同一個ID下所有消費(fèi)者分擔(dān)消費(fèi)回季。
具體例子：假如TopicA有6個隊(duì)列，某個消費(fèi)者ID起了2個消費(fèi)者實(shí)例掉房，那么每個消費(fèi)者負(fù)責(zé)消費(fèi)3個隊(duì)列茧跋。如果再增加一個消費(fèi)者ID相同消費(fèi)者實(shí)例，即當(dāng)前共有3個消費(fèi)者同時消費(fèi)6個隊(duì)列卓囚，那每個消費(fèi)者負(fù)責(zé)2個隊(duì)列的消費(fèi)瘾杭。

消費(fèi)者端的負(fù)載均衡，就是集群消費(fèi)模式下哪亿，同一個ID的所有消費(fèi)者實(shí)例平均消費(fèi)該Topic的所有隊(duì)列粥烁。

消費(fèi)者從用戶角度來看有兩種類型：

PullConsumer：主動從brokers經(jīng)紀(jì)人處拉取消息。一旦拉取到批量的數(shù)據(jù)蝇棉，用戶應(yīng)用的消費(fèi)進(jìn)程初始化讨阻。
PushConsumer：封裝消息拉取、消費(fèi)進(jìn)程和內(nèi)部其他工作維護(hù)篡殷，留下一個回調(diào)接口讓用戶實(shí)現(xiàn)钝吮，當(dāng)消息到達(dá)時即可執(zhí)行用戶實(shí)現(xiàn)邏輯。

補(bǔ)充一些概念

Topic：主題，是生產(chǎn)者發(fā)送的消息和消費(fèi)者拉取的消息的規(guī)類奇瘦。Topic與生產(chǎn)者和消費(fèi)者都是非常松散的關(guān)系棘催，一個topic可以有0個或者1個或者多個生產(chǎn)者向其發(fā)送消息，換句話說耳标，一個生產(chǎn)者可以同時向不同和topic發(fā)送消息醇坝。從消費(fèi)者的解度來說，一個topic可能被0個或者一個或者多個消費(fèi)組訂閱次坡，類似的呼猪，一個消費(fèi)組可以訂閱一個或者多個主題只要這個消費(fèi)組的實(shí)例保持他們的訂閱一致。

Message：消息砸琅，要傳輸?shù)男畔ⅰ?/strong>一個message必須有一個主題宋距，主題可以看做是你的信件要郵寄的地址。一個消息也可以擁有一個可選的tag和額處的鍵值對症脂。如你可能需要給你的message設(shè)置一個業(yè)務(wù)key和要boker服務(wù)上查找此message乡革，以便在開發(fā)期間查找問題。