kafka

SDN控制器

一矾克、學(xué)習(xí)了SDN所涉及的DMQ(分布式消息隊列)

1.DMQ總體架構(gòu)

DMQ基于Kafka架構(gòu)建立晰洒,Kafka是一種分布式的线定,消息發(fā)布/訂閱系統(tǒng)罗岖,圖中包含了kafka架構(gòu)的主要的幾大部件。

a)Producer:消息的生產(chǎn)者诅蝶,把消息push到brokers

b)Brokers:說白了就是服務(wù)器集群退个,由zookeeper集群管理

c)Topic:每個topic邏輯上對應(yīng)一個隊列精肃,producer關(guān)心消息push到哪個Topic,consumer關(guān)心自己訂閱了哪個topic帜乞。

d)consumer

group和consumer:每個consumer屬于一個consumer group。發(fā)送到Topic的消息筐眷,只會被訂閱此Topic的每個group中的一個consumer消費(fèi)黎烈。

e)Partition:從吞吐率考慮,物理上把Topic分成一個或多個Partition匀谣,每個Partition在物理上對應(yīng)一個文件夾照棋,該文件夾下存儲這個Partition的所有消息和索引文件。

f)Replicas: partition的副本存在多個broker上武翎,用于備份烈炭。

g)Leader和follower:相當(dāng)于主從關(guān)系,producer和consumer只跟leader交互宝恶,follower通過從leader pull消息實(shí)現(xiàn)同步符隙。

h)Zookeeper:kafka通過zookeeper來存儲集群的meta信息。

2.DMQ使用Kafka的原因垫毙,Kafka的優(yōu)勢

Kafka優(yōu)勢:

l支持跨節(jié)點(diǎn)的訂閱/發(fā)布能力

l異步通信

l高可靠:數(shù)據(jù)備份機(jī)制霹疫、生產(chǎn)可靠(ACK機(jī)制、消息重傳機(jī)制)综芥、消息可靠

l高性能:批量發(fā)送丽蝎、異步落盤、順序?qū)懕P膀藐、Sendfile技術(shù)屠阻、分區(qū)技術(shù)

3.重點(diǎn)理解

lTopic是個邏輯概念,partition是個物理概念额各,一個Topic分成一個或多個Partition,當(dāng)producer發(fā)布消息時可以均勻分布到多個Partition国觉。這樣有利于提高吞吐率。

l消息是順序?qū)懭腚ㄟ^append的方式加入partition,這樣有利于告訴的提取消息蛉加。

lZookeeper總的來說是為了在各節(jié)點(diǎn)之間保證狀態(tài)同步,保證數(shù)據(jù)的可靠性和一致性缸逃。

lproducer和consumer直接關(guān)聯(lián)的是Topic针饥。

l一整個消息的發(fā)布和訂閱是異步進(jìn)行的,producer是push消息到partition需频,consumer是自己去fetch消息進(jìn)行處理的丁眼。

4.消息中間件的意義

消息中間件可以支持和保障分布式程序之間同步和異步收發(fā)消息,在SDN控制器中昭殉,大AC和小AC組成了一個分布式應(yīng)用程序苞七,消息中間件保證了組件之間可靠的異步通信藐守,降低了大小AC之間的耦合度,從而提高了系統(tǒng)的可用和擴(kuò)展性蹂风。

5.DMQ使用場景舉例

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末卢厂,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子惠啄,更是在濱河造成了極大的恐慌慎恒,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,692評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件撵渡,死亡現(xiàn)場離奇詭異融柬,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)趋距,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,482評論 3 392
  • 文/潘曉璐 我一進(jìn)店門粒氧,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人节腐,你說我怎么就攤上這事外盯。” “怎么了翼雀?”我有些...
    開封第一講書人閱讀 162,995評論 0 353
  • 文/不壞的土叔 我叫張陵门怪,是天一觀的道長。 經(jīng)常有香客問我锅纺,道長掷空,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,223評論 1 292
  • 正文 為了忘掉前任囤锉,我火速辦了婚禮坦弟,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘官地。我一直安慰自己酿傍,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,245評論 6 388
  • 文/花漫 我一把揭開白布驱入。 她就那樣靜靜地躺著赤炒,像睡著了一般。 火紅的嫁衣襯著肌膚如雪亏较。 梳的紋絲不亂的頭發(fā)上莺褒,一...
    開封第一講書人閱讀 51,208評論 1 299
  • 那天,我揣著相機(jī)與錄音雪情,去河邊找鬼遵岩。 笑死,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的尘执。 我是一名探鬼主播舍哄,決...
    沈念sama閱讀 40,091評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼誊锭!你這毒婦竟也來了表悬?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,929評論 0 274
  • 序言:老撾萬榮一對情侶失蹤丧靡,失蹤者是張志新(化名)和其女友劉穎签孔,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體窘行,經(jīng)...
    沈念sama閱讀 45,346評論 1 311
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,570評論 2 333
  • 正文 我和宋清朗相戀三年图仓,在試婚紗的時候發(fā)現(xiàn)自己被綠了罐盔。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,739評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡救崔,死狀恐怖惶看,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情六孵,我是刑警寧澤纬黎,帶...
    沈念sama閱讀 35,437評論 5 344
  • 正文 年R本政府宣布,位于F島的核電站劫窒,受9級特大地震影響本今,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜主巍,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,037評論 3 326
  • 文/蒙蒙 一冠息、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧孕索,春花似錦逛艰、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,677評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至肄渗,卻和暖如春镇眷,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背翎嫡。 一陣腳步聲響...
    開封第一講書人閱讀 32,833評論 1 269
  • 我被黑心中介騙來泰國打工偏灿, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人钝的。 一個月前我還...
    沈念sama閱讀 47,760評論 2 369
  • 正文 我出身青樓翁垂,卻偏偏與公主長得像铆遭,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子沿猜,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,647評論 2 354

推薦閱讀更多精彩內(nèi)容