kafka中的消費(fèi)者在讀取服務(wù)端的數(shù)據(jù)時(shí)餐屎,需要將服務(wù)端的磁盤文件通過(guò)網(wǎng)絡(luò)發(fā)送到消費(fèi)者進(jìn)程,網(wǎng)絡(luò)發(fā)送需要經(jīng)過(guò)幾種網(wǎng)絡(luò)節(jié)點(diǎn)跌宛。如下圖所示:
傳統(tǒng)的讀取文件數(shù)據(jù)并發(fā)送到網(wǎng)絡(luò)的步驟如下:
(1)操作系統(tǒng)將數(shù)據(jù)從磁盤文件中讀取到內(nèi)核空間的頁(yè)面緩存铃肯;
(2)應(yīng)用程序?qū)?shù)據(jù)從內(nèi)核空間讀入用戶空間緩沖區(qū);
(3)應(yīng)用程序?qū)⒆x到數(shù)據(jù)寫回內(nèi)核空間并放入socket緩沖區(qū)慌核;
(4)操作系統(tǒng)將數(shù)據(jù)從socket緩沖區(qū)復(fù)制到網(wǎng)卡接口,此時(shí)數(shù)據(jù)才能通過(guò)網(wǎng)絡(luò)發(fā)送申尼。
通常情況下垮卓,Kafka的消息會(huì)有多個(gè)訂閱者,生產(chǎn)者發(fā)布的消息會(huì)被不同的消費(fèi)者多次消費(fèi)师幕,為了優(yōu)化這個(gè)流程粟按,Kafka使用了“零拷貝技術(shù)”,如下圖所示:
“零拷貝技術(shù)”只用將磁盤文件的數(shù)據(jù)復(fù)制到頁(yè)面緩存中一次们衙,然后將數(shù)據(jù)從頁(yè)面緩存直接發(fā)送到網(wǎng)絡(luò)中(發(fā)送給不同的訂閱者時(shí)钾怔,都可以使用同一個(gè)頁(yè)面緩存)碱呼,避免了重復(fù)復(fù)制操作蒙挑。
如果有10個(gè)消費(fèi)者,傳統(tǒng)方式下愚臀,數(shù)據(jù)復(fù)制次數(shù)為4*10=40次忆蚀,而使用“零拷貝技術(shù)”只需要1+10=11次,一次為從磁盤復(fù)制到頁(yè)面緩存,10次表示10個(gè)消費(fèi)者各自讀取一次頁(yè)面緩存馋袜。