目錄

1、客戶端與服務(wù)端的交互

2傅物、頻繁網(wǎng)絡(luò)通信帶來(lái)的性能低下問(wèn)題

3夯辖、batch機(jī)制：多條消息打包成一個(gè)batch

4、request機(jī)制：多個(gè)batch打包成一個(gè)request

“ 這篇文章董饰，給大家聊一個(gè)消息中間件相關(guān)的技術(shù)話題蒿褂，對(duì)于一個(gè)優(yōu)秀的消息中間件而言，客戶端與服務(wù)端通信的時(shí)候卒暂，對(duì)于這個(gè)網(wǎng)絡(luò)通信的機(jī)制應(yīng)該如何設(shè)計(jì)贮缅，才能保證性能最優(yōu)呢？甚至通過(guò)優(yōu)秀的設(shè)計(jì)介却，讓性能提升10倍以上谴供。

我們本文就以Kafka為例來(lái)給大家分析一下，Kafka在客戶端與服務(wù)端通信的時(shí)候齿坷，底層的一些網(wǎng)絡(luò)通信相關(guān)的機(jī)制如何設(shè)計(jì)以及如何進(jìn)行優(yōu)化的桂肌。

1数焊、客戶端與服務(wù)端的交互

假如我們用kafka作為消息中間件，勢(shì)必會(huì)有客戶端作為生產(chǎn)者向他發(fā)送消息崎场，這個(gè)大家應(yīng)該都可以理解佩耳。

對(duì)于Kafka來(lái)說(shuō)，他本身是支持分布式的消息存儲(chǔ)的谭跨，什么意思呢干厚？

比如說(shuō)現(xiàn)在你有一個(gè)“Topic”，一個(gè)“Topic”你就可以理解為一個(gè)消息數(shù)據(jù)的邏輯上的集合螃宙。

比如現(xiàn)在你要把所有的訂單數(shù)據(jù)都發(fā)送到一個(gè)“Topic”里去蛮瞄，那么這個(gè)“Topic”就叫做“OrderTopic”，里面都放的是訂單數(shù)據(jù)谆扎。

接著這個(gè)“Topic”的數(shù)據(jù)可能量很大很大挂捅，不可能放在一臺(tái)機(jī)器上吧？

所以呢堂湖，我們就可以分散存儲(chǔ)在多臺(tái)Kafka的機(jī)器上闲先，每臺(tái)機(jī)器存儲(chǔ)一部分的數(shù)據(jù)即可。

這就是Kafka的分布式消息存儲(chǔ)的機(jī)制无蜂，每個(gè)Kafka服務(wù)端叫做一個(gè)Broker伺糠，負(fù)責(zé)管理一臺(tái)機(jī)器上的數(shù)據(jù)。

一起來(lái)看看下面的圖：

一個(gè)“Topic”可以拆分為多個(gè)“Partition”斥季，每個(gè)“Partition”存儲(chǔ)一部分?jǐn)?shù)據(jù)训桶，每個(gè)Partition都可以放在不同的Kafka Broker機(jī)器上，這樣就實(shí)現(xiàn)了數(shù)據(jù)分散存儲(chǔ)在多臺(tái)機(jī)器上的效果了泻肯。

然后客戶端在發(fā)送消息到Kafka Broker的時(shí)候，比如說(shuō)你限定了“OrderTopic”的訂單數(shù)據(jù)拆分為3個(gè)“Partition”慰照，那么3個(gè)“Partition”分別放在一個(gè)Kafka Broker上灶挟，那么也就是要把所有的訂單數(shù)據(jù)分發(fā)到三個(gè)Kafka Broker上去。

此時(shí)就會(huì)默認(rèn)情況下走一個(gè)負(fù)載均衡的策略毒租，舉個(gè)例子稚铣，假設(shè)訂單數(shù)據(jù)一共有3萬(wàn)條，就會(huì)給每個(gè)Partition分發(fā)1萬(wàn)條訂單消息墅垮，這樣訂單數(shù)據(jù)均勻分散在了3臺(tái)Broker機(jī)器上惕医。

整個(gè)過(guò)程，如下圖所示：

2算色、頻繁網(wǎng)絡(luò)通信帶來(lái)的性能低下問(wèn)題

好了抬伺，現(xiàn)在問(wèn)題來(lái)了，客戶端在發(fā)送消息給Kafka Broker的時(shí)候灾梦，比如說(shuō)現(xiàn)在要發(fā)送一個(gè)訂單到Kafka上去峡钓，此時(shí)他是怎么發(fā)送過(guò)去呢妓笙？

是直接一條訂單消息就對(duì)應(yīng)一個(gè)網(wǎng)絡(luò)請(qǐng)求，發(fā)送到一臺(tái)Broker上去嗎能岩？

如果是這樣做的話寞宫，那勢(shì)必會(huì)導(dǎo)致頻繁的跟一臺(tái)broker進(jìn)行網(wǎng)絡(luò)通信，頻繁的網(wǎng)絡(luò)通信拉鹃，每次都涉及到復(fù)雜的網(wǎng)絡(luò)連接辈赋、傳輸?shù)牧鞒蹋敲催M(jìn)而會(huì)導(dǎo)致客戶端性能的低下膏燕。

給大家舉個(gè)例子钥屈，比如說(shuō)每次通過(guò)一個(gè)網(wǎng)絡(luò)通信發(fā)送一條訂單到broker，需要耗時(shí)10ms煌寇。

那么如果一個(gè)訂單就一次網(wǎng)絡(luò)通信發(fā)送到broker焕蹄，每秒最多就是發(fā)送100個(gè)訂單了，大家想想阀溶，是不是這個(gè)道理腻脏？

但是假如說(shuō)你每秒有10000個(gè)訂單要發(fā)送，此時(shí)就會(huì)造成你的發(fā)送性能遠(yuǎn)遠(yuǎn)跟不上你的需求银锻，也就是性能的低下永品，看起來(lái)你的系統(tǒng)發(fā)送訂單到kafka的速度就是特別的慢。

3击纬、batch機(jī)制：多條消息打包成一個(gè)batch

所以首先針對(duì)這個(gè)問(wèn)題鼎姐，kafka做的第一個(gè)優(yōu)化，就是實(shí)現(xiàn)了batch機(jī)制更振。

這個(gè)意思就是說(shuō)炕桨，他會(huì)在客戶端放一個(gè)內(nèi)存緩沖區(qū)，每次你寫(xiě)一條訂單先放到內(nèi)存緩沖區(qū)里去肯腕，然后在內(nèi)存緩沖區(qū)里献宫，會(huì)把多個(gè)訂單給打包起來(lái)成為一個(gè)batch。

比如說(shuō)默認(rèn)kafka規(guī)定的batch的大小是16kb实撒，那么意思就是姊途，你默認(rèn)就是多條訂單湊滿16kb的大小，就會(huì)成為一個(gè)batch知态，然后他就會(huì)把這個(gè)batch通過(guò)網(wǎng)絡(luò)通信發(fā)送到broker上去捷兰。

假如說(shuō)一個(gè)batch發(fā)送到broker，同樣也是耗費(fèi)10ms而已负敏，但是一個(gè)batch里可以放入100條訂單贡茅，那么1秒是不是可以發(fā)送100個(gè)batch？

此時(shí)其做，1秒是不是就可以發(fā)送10000條訂單出去了友扰？

而且在打包消息形成batch的時(shí)候彤叉，是有講究的，你必須是發(fā)送到同一個(gè)Topic的同一個(gè)Partition的消息村怪，才會(huì)進(jìn)入一個(gè)batch秽浇。

這個(gè)batch里就代表要發(fā)送到同一個(gè)Partition的多條消息，這樣后續(xù)才能通過(guò)一個(gè)網(wǎng)絡(luò)請(qǐng)求甚负，就把這個(gè)batch發(fā)送到broker柬焕，對(duì)應(yīng)寫(xiě)入一個(gè)Parititon中。

4梭域、request機(jī)制：多個(gè)batch打包成一個(gè)request

事情到這里就結(jié)束了嗎斑举？還沒(méi)有！

比如現(xiàn)在我們要是手頭有兩個(gè)Topic病涨，每個(gè)Topic都有3個(gè)Partition富玷，那么每個(gè)Broker是不是就會(huì)存放2個(gè)Partition？其中1個(gè)Partition是Topic01的既穆，1個(gè)Partition是Topic02的赎懦。

最后大家可以關(guān)注我或者關(guān)注下我的專(zhuān)欄給小伙伴們帶來(lái)更多精彩的內(nèi)容

http://www.reibang.com/c/76c4c7b817f8