RocketMQ系列(二):nameServer

nameServer是什么

nameServer負(fù)責(zé)rocketMq的路由管理、服務(wù)管理雷客、服務(wù)發(fā)現(xiàn)唯蝶。

重點:

  • nameServer整體構(gòu)建設(shè)計
  • nameServer動態(tài)路由發(fā)現(xiàn)與剔除機制

nameServer整體構(gòu)建設(shè)計

RocketMQ.png

nameServer啟動流程

  1. step1: 首先解析配置文件操软。填充NameServerConfig、NettyServerConfig屬性值请毛。
    包括:端口號志鞍,目錄路徑,netty線程池個數(shù)方仿,消息請求并發(fā)度固棚。等等等等统翩。

  2. step2: 根據(jù)啟動屬性,創(chuàng)建NamesrvController實例此洲,并初始化該實例厂汗。NameServerController為nameServer的核心控制器。
    NameServerController里面有一個nettyServer和兩個定時任務(wù)呜师。
    nettyServer負(fù)責(zé)與broker娶桦、生產(chǎn)者、消費者進(jìn)行網(wǎng)絡(luò)通信汁汗。
    定時任務(wù)1:每隔10s掃描一次broker衷畦,移除死亡狀態(tài)broker。
    定時任務(wù)2:每隔10分鐘打印一次KV配置知牌。

路由注冊

路由元信息

來看一下NameServer中到底存了哪些信息

/**
* key 為 topic
* topic 消息隊列路由信息祈争,消息發(fā)送時根據(jù)路由進(jìn)行負(fù)載均衡
*/
private final HashMap<String, List<QueueData>> topicQueueTable;

/**
* key 為 brokerName
* broker基礎(chǔ)信息,包含brokerName角寸、所屬集群名稱菩混、主備broker地址
*/
private final HashMap<String, BrokerData> brokerAddrTable;

/**
* key 為 cluserName
* broker集群信息,存儲集群中所有broker名稱
*/
private final HashMap<String, Set<String>> clusterAddrName;

/**
* key 為 brokerAddr
* broker狀態(tài)信息袭厂,nameServer每次收到一臺broker的心跳包后會更新該信息
*/
private final HashMap<String, BrokerLiveInfo> brokerLiveTable;

/**
* key 為 brokerAddr
* broker上filterServer列表墨吓,用于消息過濾
*/
private final HashMap<String, List<String>> filterServerTable;
路由元信息.png

同一個集群,2主2從部署:


集群部署.png

Broker部署相對復(fù)雜纹磺,Broker分為Master與Slave帖烘,一個Master可以對應(yīng)多個Slave,但是一個Slave只能對應(yīng)一個Master橄杨,Master與Slave的對應(yīng)關(guān)系通過指定相同的BrokerName秘症,不同的BrokerId來定義,BrokerId為0表示Master式矫,非0表示Slave乡摹。Master也可以部署多個。每個Broker與Name Server集群中的所有節(jié)點建立長連接采转,定時注冊Topic信息到所有Name Server聪廉。

對應(yīng)運行時的數(shù)據(jù):

{
    "topicQueueTable":{
        "topic1":[
            {
            "brokerName":"broker-a",
            "readQueueNums":4,
            "writeQueueNums":4,
            "perm":6, // 讀寫權(quán)限
            "topicSynFlag":0 // topic同步標(biāo)記
            },
            {
            "brokerName":"broker-b",
            "readQueueNums":4,
            "writeQueueNums":4,
            "perm":6, // 讀寫權(quán)限
            "topicSynFlag":0 // topic同步標(biāo)記
            }
        ],
        "topic2":[]
    }
}
{
    "brokerAddrTable": {
        "broker-a": {
            "cluster":"c1",
            "brokerName":"broker-a",
            "brokerAddrs":{
                "0":"192.168.56.1:10000",
                "1":"192.168.56.2:10000"
    
            }
        },
        "broker-b": {
            "cluster":"c1",
            "brokerName":"broker-b",
            "brokerAddrs":{
                "0":"192.168.56.3:10000",
                "1":"192.168.56.4:10000"
    
            }
        }
    }
}
{
    "clusterAddrName":{
        "c1":[
            "broker-a",
            "broker-b"
        ]
    }
}
{
    "brokerLiveTable":{
        "192.168.56.1:10000": {
            "lastUpdateTimestamp":12412,
            "dataVersion":"versionOb1",
            "channel":"channelObj",
            "haServerAddr":"192.168.56.2:10000"
        },
        "192.168.56.2:10000": {
        },
        "192.168.56.3:10000": {
        },
        "192.168.56.4:10000": {
        }
    }
}

路由注冊

rocketMq的路由注冊是通過broker與NameServer的心跳功能實現(xiàn)的。broker啟動的時候故慈,向集群中的所有nameServer發(fā)送心跳語句板熊,每隔30s向集群中的所有nameServer發(fā)送心跳。
nameServer收到心跳包時會更新brokerLiveTable緩存中的lastUpdateTimestamp察绷。然后nameServer每10秒掃描一次brokerLiveTable干签,如果連續(xù)120s沒有收到心跳包,nameServer將移除該Broker的路由信息拆撼,同時關(guān)閉netty socket連接容劳。

nameServer與broker保持長連接喘沿。在操作路由表的時候(修改topicQueueTable、brokerAddrTable竭贩、brokerLiveTable)使用讀寫鎖蚜印,來保證并發(fā)下的一致性。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末娶视,一起剝皮案震驚了整個濱河市晒哄,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌肪获,老刑警劉巖寝凌,帶你破解...
    沈念sama閱讀 211,639評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異孝赫,居然都是意外死亡较木,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,277評論 3 385
  • 文/潘曉璐 我一進(jìn)店門青柄,熙熙樓的掌柜王于貴愁眉苦臉地迎上來伐债,“玉大人,你說我怎么就攤上這事致开》逅” “怎么了?”我有些...
    開封第一講書人閱讀 157,221評論 0 348
  • 文/不壞的土叔 我叫張陵双戳,是天一觀的道長虹蒋。 經(jīng)常有香客問我,道長飒货,這世上最難降的妖魔是什么魄衅? 我笑而不...
    開封第一講書人閱讀 56,474評論 1 283
  • 正文 為了忘掉前任塘辅,我火速辦了婚禮晃虫,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘扣墩。我一直安慰自己哲银,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 65,570評論 6 386
  • 文/花漫 我一把揭開白布呻惕。 她就那樣靜靜地躺著盘榨,像睡著了一般。 火紅的嫁衣襯著肌膚如雪蟆融。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,816評論 1 290
  • 那天守呜,我揣著相機與錄音型酥,去河邊找鬼山憨。 笑死,一個胖子當(dāng)著我的面吹牛弥喉,可吹牛的內(nèi)容都是我干的郁竟。 我是一名探鬼主播,決...
    沈念sama閱讀 38,957評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼由境,長吁一口氣:“原來是場噩夢啊……” “哼棚亩!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起虏杰,我...
    開封第一講書人閱讀 37,718評論 0 266
  • 序言:老撾萬榮一對情侶失蹤讥蟆,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后纺阔,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體瘸彤,經(jīng)...
    沈念sama閱讀 44,176評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,511評論 2 327
  • 正文 我和宋清朗相戀三年笛钝,在試婚紗的時候發(fā)現(xiàn)自己被綠了质况。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,646評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡玻靡,死狀恐怖结榄,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情囤捻,我是刑警寧澤臼朗,帶...
    沈念sama閱讀 34,322評論 4 330
  • 正文 年R本政府宣布,位于F島的核電站最蕾,受9級特大地震影響依溯,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜瘟则,卻給世界環(huán)境...
    茶點故事閱讀 39,934評論 3 313
  • 文/蒙蒙 一黎炉、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧醋拧,春花似錦慷嗜、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,755評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至菌赖,卻和暖如春缭乘,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背琉用。 一陣腳步聲響...
    開封第一講書人閱讀 31,987評論 1 266
  • 我被黑心中介騙來泰國打工堕绩, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留策幼,地道東北人。 一個月前我還...
    沈念sama閱讀 46,358評論 2 360
  • 正文 我出身青樓奴紧,卻偏偏與公主長得像特姐,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子黍氮,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,514評論 2 348