Apache Pulsar[3] 概念進(jìn)階

訂閱模型

Pulsar提供了靈活的消息模型赞咙,支持三種訂閱類(lèi)型:

  • Exclusive subscription:排他褐奥,只能有一個(gè)Consumer冤寿,接收一個(gè)Topic所有的消息
  • Shared subscription:共享钙姊,可以同時(shí)存在多個(gè)Consumer,每個(gè)Consumer處理Topic中一部消息(Shared模型是不保證消息順序的发钝,Consumer數(shù)量可以超過(guò)分區(qū)的數(shù)量)
  • Failover subscription:災(zāi)備模式顿涣,同一時(shí)刻只有一個(gè)有效的Consumer,其余的Consumer作為備用節(jié)點(diǎn)酝豪,在Master Consumer不可用后進(jìn)行替代(看起來(lái)適用于數(shù)據(jù)量小涛碑,且解決單點(diǎn)故障的場(chǎng)景)


    image.png

分區(qū)

為了解決吞吐等問(wèn)題,Pulsar和Kafka一樣孵淘,采用了分區(qū)(Partition)的機(jī)制蒲障。


image.png

Pulsar提供了一些策略來(lái)處理消息到Partition的路由(MessageRouter):

  • Single partitioning:Producer隨機(jī)選擇一個(gè)Partition并將所有消息寫(xiě)入到這個(gè)分區(qū)
  • Round robin partitioning :采用Round robin的方式,輪訓(xùn)所有分區(qū)進(jìn)行消息寫(xiě)入
  • Hash partitioning:這種模式每條消息有一個(gè)Key瘫证,Producer根據(jù)消息的Key的哈希值進(jìn)行分區(qū)的選擇(Key相同的消息可以保證順序)揉阎。默認(rèn)
  • Custom partitioning:用戶(hù)自定義路由策略

持久化

Pulsar通過(guò)BookKeeper來(lái)存儲(chǔ)消息,保證消息不會(huì)丟失


image.png

Pulsar采用“存儲(chǔ)和服務(wù)分離”的兩層架構(gòu)(這是Pulsar區(qū)別于其他MQ系統(tǒng)最重要的一點(diǎn)背捌,也是所謂的“下一代消息系統(tǒng)”的核心):

Broker:提供發(fā)布和訂閱的服務(wù)(Pulsar的組件)
Bookie:提供存儲(chǔ)能力(BookKeeper的存儲(chǔ)組件)
通過(guò)兩層架構(gòu)使broker變成無(wú)狀態(tài)毙籽,可以水平擴(kuò)容。高可靠和一致性通過(guò)bookkeeper保證毡庆。

數(shù)據(jù)復(fù)制

image.png
  • 采用ZooKeeper存儲(chǔ)元數(shù)據(jù)坑赡,集群配置,作為協(xié)調(diào)器
    -- local zk負(fù)責(zé)Pulsar Cluster內(nèi)部的配置等
    -- global zk則用于Pulsar Cluster之間的數(shù)據(jù)復(fù)制等
  • 采用Bookie作為存儲(chǔ)設(shè)備
  • Broker負(fù)責(zé)負(fù)載均衡和消息的讀取么抗、寫(xiě)入等
  • Global replicators負(fù)責(zé)集群間的數(shù)據(jù)復(fù)制

GEO-REPLICATION(地理復(fù)制)

多個(gè)Broker節(jié)點(diǎn)組成一個(gè)Pulsar Cluster垮衷;多個(gè)Pulsar Cluster組成一個(gè)Pulsar Instance。
Pulsar通過(guò)GEO-REPLICATION支持一個(gè)Instance內(nèi)在不同的地域發(fā)送和消費(fèi)消息乖坠。


image.png

在這個(gè)圖中搀突,每當(dāng) P1、P2 和 P3 的生產(chǎn)者分別向Cluster-A熊泵、Cluster-B和Cluster-C 中的T1 topic發(fā)送消息時(shí)仰迁,這些消息很快在不同的集群中復(fù)制,C1顽分,C2可以在自己的集群內(nèi)消費(fèi)到所有的數(shù)據(jù)徐许。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市卒蘸,隨后出現(xiàn)的幾起案子雌隅,更是在濱河造成了極大的恐慌,老刑警劉巖缸沃,帶你破解...
    沈念sama閱讀 221,331評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件恰起,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡趾牧,警方通過(guò)查閱死者的電腦和手機(jī)检盼,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,372評(píng)論 3 398
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)翘单,“玉大人吨枉,你說(shuō)我怎么就攤上這事蹦渣。” “怎么了貌亭?”我有些...
    開(kāi)封第一講書(shū)人閱讀 167,755評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵柬唯,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我圃庭,道長(zhǎng)权逗,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 59,528評(píng)論 1 296
  • 正文 為了忘掉前任冤议,我火速辦了婚禮斟薇,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘恕酸。我一直安慰自己堪滨,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,526評(píng)論 6 397
  • 文/花漫 我一把揭開(kāi)白布蕊温。 她就那樣靜靜地躺著袱箱,像睡著了一般。 火紅的嫁衣襯著肌膚如雪义矛。 梳的紋絲不亂的頭發(fā)上发笔,一...
    開(kāi)封第一講書(shū)人閱讀 52,166評(píng)論 1 308
  • 那天,我揣著相機(jī)與錄音凉翻,去河邊找鬼了讨。 笑死,一個(gè)胖子當(dāng)著我的面吹牛制轰,可吹牛的內(nèi)容都是我干的前计。 我是一名探鬼主播,決...
    沈念sama閱讀 40,768評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼垃杖,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼男杈!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起调俘,我...
    開(kāi)封第一講書(shū)人閱讀 39,664評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤伶棒,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后彩库,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體肤无,經(jīng)...
    沈念sama閱讀 46,205評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,290評(píng)論 3 340
  • 正文 我和宋清朗相戀三年侧巨,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了舅锄。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片鞭达。...
    茶點(diǎn)故事閱讀 40,435評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡司忱,死狀恐怖皇忿,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情坦仍,我是刑警寧澤鳍烁,帶...
    沈念sama閱讀 36,126評(píng)論 5 349
  • 正文 年R本政府宣布,位于F島的核電站繁扎,受9級(jí)特大地震影響幔荒,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜梳玫,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,804評(píng)論 3 333
  • 文/蒙蒙 一爹梁、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧提澎,春花似錦姚垃、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,276評(píng)論 0 23
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至谦纱,卻和暖如春看成,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背跨嘉。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,393評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工川慌, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人祠乃。 一個(gè)月前我還...
    沈念sama閱讀 48,818評(píng)論 3 376
  • 正文 我出身青樓窘游,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親跳纳。 傳聞我的和親對(duì)象是個(gè)殘疾皇子忍饰,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,442評(píng)論 2 359