Kafka有兩個(gè)很重要的配置參數(shù)沿量，acks與min.insync.replicas.其中acks是producer的配置參數(shù)，min.insync.replicas是Broker端的配置參數(shù)冤荆，這兩個(gè)參數(shù)對(duì)于生產(chǎn)者不丟失數(shù)據(jù)起到了很大的作用.接下來(lái)朴则，本文會(huì)以圖示的方式講解這兩個(gè)參數(shù)的含義和使用方式。通過本文钓简，你可以了解到：

• Kafka的分區(qū)副本
• 什么是同步副本(In-sync replicas)
• 什么是acks確認(rèn)機(jī)制
• 什么是最小同步副本
• ack=all與最小同步副本是如何發(fā)揮作用的

分區(qū)副本

Kafka的topic是可以分區(qū)的乌妒，并且可以為分區(qū)配置多個(gè)副本，改配置可以通過replication.factor參數(shù)實(shí)現(xiàn). Kafka中的分區(qū)副本包括兩種類型：領(lǐng)導(dǎo)者副本（Leader Replica）和追隨者副本（Follower Replica)外邓，每個(gè)分區(qū)在創(chuàng)建時(shí)都要選舉一個(gè)副本作為領(lǐng)導(dǎo)者副本撤蚊，其余的副本自動(dòng)變?yōu)樽冯S者副本. 在 Kafka 中，追隨者副本是不對(duì)外提供服務(wù)的坐榆，也就是說(shuō)拴魄，任何一個(gè)追隨者副本都不能響應(yīng)消費(fèi)者和生產(chǎn)者的讀寫請(qǐng)求. 所有的請(qǐng)求都必須由領(lǐng)導(dǎo)者副本來(lái)處理. 換句話說(shuō)，所有的讀寫請(qǐng)求都必須發(fā)往領(lǐng)導(dǎo)者副本所在的 Broker席镀，由該 Broker 負(fù)責(zé)處理. 追隨者副本不處理客戶端請(qǐng)求匹中，它唯一的任務(wù)就是從領(lǐng)導(dǎo)者副本異步拉取消息，并寫入到自己的提交日志中豪诲，從而實(shí)現(xiàn)與領(lǐng)導(dǎo)者副本的同步.

Kafka默認(rèn)的副本因子是3顶捷，即每個(gè)分區(qū)只有1個(gè)leader副本和2個(gè)follower副本.具體如下圖所示：

上面提到生產(chǎn)者客戶端僅寫入Leader broker，跟隨者異步復(fù)制數(shù)據(jù)屎篱。由于Kafka是一個(gè)分布式系統(tǒng)服赎，必然會(huì)存在與 Leader 不能實(shí)時(shí)同步的風(fēng)險(xiǎn)，所以需要一種方法來(lái)判斷這些追隨者是否跟上了領(lǐng)導(dǎo)者的步伐, 即追隨者是否同步了最新的數(shù)據(jù).換句話說(shuō)交播，Kafka 要明確地告訴我們重虑，追隨者副本到底在什么條件下才算與 Leader 同步？這就是下面所要說(shuō)的ISR同步副本機(jī)制.

同步副本(In-sync replicas)

In-sync replica(ISR)稱之為同步副本秦士，ISR中的副本都是與Leader進(jìn)行同步的副本缺厉，所以不在該列表的follower會(huì)被認(rèn)為與Leader是不同步的. 那么，ISR中存在是什么副本呢？首先可以明確的是：Leader副本總是存在于ISR中. 而follower副本是否在ISR中提针，取決于該follower副本是否與Leader副本保持了“同步”.

尖叫提示：對(duì)于"follower副本是否與Leader副本保持了同步"的理解如下：

(1)上面所說(shuō)的同步不是指完全的同步命爬，即并不是說(shuō)一旦follower副本同步滯后與Leader副本，就會(huì)被踢出ISR列表.

(2)Kafka的broker端有一個(gè)參數(shù)replica.lag.time.max.ms, 該參數(shù)表示follower副本滯后與Leader副本的最長(zhǎng)時(shí)間間隔辐脖，默認(rèn)是10秒. 這就意味著饲宛，只要follower副本落后于leader副本的時(shí)間間隔不超過10秒，就可以認(rèn)為該follower副本與leader副本是同步的嗜价，所以哪怕當(dāng)前follower副本落后于Leader副本幾條消息艇抠，只要在10秒之內(nèi)趕上Leader副本，就不會(huì)被踢出出局.

（3）如果follower副本被踢出ISR列表炭剪，等到該副本追上了Leader副本的進(jìn)度练链，該副本會(huì)被再次加入到ISR列表中，所以ISR是一個(gè)動(dòng)態(tài)列表奴拦，并不是靜態(tài)不變的媒鼓。

如上圖所示：Broker3上的partition1副本超過了規(guī)定時(shí)間，未與Leader副本同步错妖，所以被踢出ISR列表绿鸣，此時(shí)的ISR為[1,3].

acks確認(rèn)機(jī)制

acks參數(shù)指定了必須要有多少個(gè)分區(qū)副本收到消息，生產(chǎn)者才認(rèn)為該消息是寫入成功的暂氯，這個(gè)參數(shù)對(duì)于消息是否丟失起著重要作用潮模，該參數(shù)的配置具體如下：

• acks=0，表示生產(chǎn)者在成功寫入消息之前不會(huì)等待任何來(lái)自服務(wù)器的響應(yīng). 換句話說(shuō)痴施，一旦出現(xiàn)了問題導(dǎo)致服務(wù)器沒有收到消息擎厢，那么生產(chǎn)者就無(wú)從得知，消息也就丟失了. 改配置由于不需要等到服務(wù)器的響應(yīng)辣吃，所以可以以網(wǎng)絡(luò)支持的最大速度發(fā)送消息动遭，從而達(dá)到很高的吞吐量。

• acks=1神得，表示只要集群的leader分區(qū)副本接收到了消息厘惦，就會(huì)向生產(chǎn)者發(fā)送一個(gè)成功響應(yīng)的ack，此時(shí)生產(chǎn)者接收到ack之后就可以認(rèn)為該消息是寫入成功的. 一旦消息無(wú)法寫入leader分區(qū)副本(比如網(wǎng)絡(luò)原因哩簿、leader節(jié)點(diǎn)崩潰),生產(chǎn)者會(huì)收到一個(gè)錯(cuò)誤響應(yīng)宵蕉，當(dāng)生產(chǎn)者接收到該錯(cuò)誤響應(yīng)之后，為了避免數(shù)據(jù)丟失节榜，會(huì)重新發(fā)送數(shù)據(jù).這種方式的吞吐量取決于使用的是異步發(fā)送還是同步發(fā)送.

  尖叫提示：如果生產(chǎn)者收到了錯(cuò)誤響應(yīng)羡玛，即便是重新發(fā)消息，還是會(huì)有可能出現(xiàn)丟數(shù)據(jù)的現(xiàn)象. 比如宗苍，如果一個(gè)沒有收到消息的節(jié)點(diǎn)成為了新的Leader稼稿，消息就會(huì)丟失.

• acks =all,表示只有所有參與復(fù)制的節(jié)點(diǎn)(ISR列表的副本)全部收到消息時(shí)亿遂，生產(chǎn)者才會(huì)接收到來(lái)自服務(wù)器的響應(yīng). 這種模式是最高級(jí)別的，也是最安全的渺杉，可以確保不止一個(gè)Broker接收到了消息. 該模式的延遲會(huì)很高.

最小同步副本

上面提到，當(dāng)acks=all時(shí)挪钓，需要所有的副本都同步了才會(huì)發(fā)送成功響應(yīng)到生產(chǎn)者. 其實(shí)這里面存在一個(gè)問題：如果Leader副本是唯一的同步副本時(shí)會(huì)發(fā)生什么呢是越？此時(shí)相當(dāng)于acks=1.所以是不安全的.

Kafka的Broker端提供了一個(gè)參數(shù)min.insync.replicas,該參數(shù)控制的是消息至少被寫入到多少個(gè)副本才算是"真正寫入",該值默認(rèn)值為1，生產(chǎn)環(huán)境設(shè)定為一個(gè)大于1的值可以提升消息的持久性. 因?yàn)槿绻礁北镜臄?shù)量低于該配置值碌上，則生產(chǎn)者會(huì)收到錯(cuò)誤響應(yīng)倚评，從而確保消息不丟失.

Case 1

如下圖，當(dāng)min.insync.replicas=2且acks=all時(shí)馏予，如果此時(shí)ISR列表只有[1,2],3被踢出ISR列表天梧，只需要保證兩個(gè)副本同步了，生產(chǎn)者就會(huì)收到成功響應(yīng).

Case 2

如下圖霞丧，當(dāng)min.insync.replicas=2呢岗，如果此時(shí)ISR列表只有[1],2和3被踢出ISR列表，那么當(dāng)acks=all時(shí)蛹尝，則不能成功寫入數(shù)后豫；當(dāng)acks=0或者acks=1可以成功寫入數(shù)據(jù).

Case 3

這種情況是很容易引起誤解的，如果acks=all且min.insync.replicas=2突那，此時(shí)ISR列表為[1,2,3],那么還是會(huì)等到所有的同步副本都同步了消息挫酿，才會(huì)向生產(chǎn)者發(fā)送成功響應(yīng)的ack.因?yàn)閙in.insync.replicas=2只是一個(gè)最低限制，即同步副本少于該配置值愕难，則會(huì)拋異常早龟，而acks=all，是需要保證所有的ISR列表的副本都同步了才可以發(fā)送成功響應(yīng). 如下圖所示：

總結(jié)

acks=0猫缭，生產(chǎn)者在成功寫入消息之前不會(huì)等待任何來(lái)自服務(wù)器的響應(yīng).

acks=1,只要集群的leader分區(qū)副本接收到了消息葱弟，就會(huì)向生產(chǎn)者發(fā)送一個(gè)成功響應(yīng)的ack.

acks=all,表示只有所有參與復(fù)制的節(jié)點(diǎn)(ISR列表的副本)全部收到消息時(shí)，生產(chǎn)者才會(huì)接收到來(lái)自服務(wù)器的響應(yīng)饵骨，此時(shí)如果ISR同步副本的個(gè)數(shù)小于min.insync.replicas的值翘悉，消息不會(huì)被寫入.

公眾號(hào)『大數(shù)據(jù)技術(shù)與數(shù)倉(cāng)』，回復(fù)『資料』領(lǐng)取大數(shù)據(jù)資料包