broker簡(jiǎn)介：
pulsar broker是無狀態(tài)的，Bookeeper集群本身并不執(zhí)行復(fù)制旭咽，每個(gè)Bookies只是一個(gè)跟隨者被領(lǐng)導(dǎo)者同志做什么贞奋，領(lǐng)導(dǎo)人是Pulsar Broker。每個(gè)Topic都由一個(gè)Pulsar Broker擁有穷绵，該Broker提供Topic的所有讀寫操作轿塔。
寫操作
Pulsar 的寫流程如下圖：
Pulsar Broker 接收到 client 的請(qǐng)求后，依據(jù) Topic 所使用的 Ensemble 集合以及相關(guān)參數(shù)仲墨，把數(shù)據(jù)寫入 Qw 個(gè) Bookie勾缭，收到 Qa 個(gè) Bookie 的回應(yīng)后，可以認(rèn)為寫成功并向生產(chǎn)者客戶端發(fā)送確認(rèn)宗收。至于 Ensemble 的選擇漫拭，則由 Pulsar Broker Leader相應(yīng)的策略在創(chuàng)建 Topic 的時(shí)候從 Bookie 集合中選擇。
如果寫流程中有 Bookie 返回錯(cuò)誤或者超時(shí)沒有返回混稽，則 Broker 會(huì)用新的 Bookie 替換采驻，并把數(shù)據(jù)寫入其中的 Ledger/Fragment上。通過這個(gè) Ensemble Change 的方法能夠保證 Pulsar 肯定能夠?qū)懗晒π傺皇怯捎谀硞€(gè)節(jié)點(diǎn)故障導(dǎo)致寫流程阻塞住進(jìn)而影響后面 Entry 的寫流程礼旅。
讀操作
Pulsar Consumer 讀取消息的不需要關(guān)心數(shù)據(jù)數(shù)據(jù)存儲(chǔ)所在的介質(zhì)，因?yàn)?Pulsar 很好的使用了緩存功能以提高讀取速度洽洁，并利用分級(jí)方式降低存儲(chǔ)成本痘系。
Pulsar 的讀流程如下圖：
- setp1：Kafka 的 Consumer 會(huì)從 Partition 對(duì)應(yīng)的 leader Broker 上讀取數(shù)據(jù)，Pulsar 的 client 是從 Topic/Partition owner 對(duì)應(yīng)的 Broker 讀取數(shù)據(jù)饿自。如果該 Broker 有緩存汰翠，則直接返回相應(yīng)數(shù)據(jù)，否則就從任一個(gè) Bookie 讀取數(shù)據(jù)并返回給 client昭雌。
- setp2：一個(gè)新的 Pulsar Broker 發(fā)起讀取請(qǐng)求之前复唤，需要知道 Pulsar 集群的 LAC，Broker 會(huì)向所有 Bookie 發(fā)送獲取 LAC 請(qǐng)求烛卧，得到大多數(shù)回復(fù)后即可計(jì)算出一個(gè)安全的 LAC 值佛纫，這個(gè)流程就是采用了 Quorum Read 的方式。
- setp3：Pulsar Broker 獲取可靠的 LAC 之后，其讀取可以從任一 Bookie 開始呈宇，如果在限定時(shí)間內(nèi)沒有響應(yīng)則給第二個(gè) Bookie 發(fā)送讀取請(qǐng)求好爬，然后同時(shí)等待這兩個(gè) Bookie，誰先響應(yīng)就意味著讀取成功甥啄，這個(gè)流程稱之為 Speculative Read（推測(cè)式讀却媾凇）。
Cursor追蹤
每個(gè)Subscription都存儲(chǔ)一個(gè)Cursor型豁。Cursor是日志中的當(dāng)前偏移量僵蛛。Subscription將其Cursor存儲(chǔ)至BookKeeper的Ledger中尚蝌。這使Cursor跟蹤可以像Topic一樣進(jìn)行擴(kuò)展迎变。
