這篇文章來聊一下 Kafka 的一些架構(gòu)設(shè)計原理雁佳，這也是互聯(lián)網(wǎng)公司面試時非常高頻的技術(shù)考點(diǎn)脐帝。
Kafka 是高吞吐低延遲的高并發(fā)、高性能的消息中間件糖权，在大數(shù)據(jù)領(lǐng)域有極為廣泛的運(yùn)用堵腹。配置良好的 Kafka 集群甚至可以做到每秒幾十萬、上百萬的超高并發(fā)寫入星澳。
那么 Kafka 到底是如何做到這么高的吞吐量和性能的呢?這篇文章我們來詳細(xì)說一下疚顷。
頁緩存技術(shù) + 磁盤順序?qū)?/strong>
首先 Kafka 每次接收到數(shù)據(jù)都會往磁盤上去寫，如下圖所示：
那么在這里我們不禁有一個疑問了腿堤，如果把數(shù)據(jù)基于磁盤來存儲，頻繁的往磁盤文件里寫數(shù)據(jù)如暖，這個性能會不會很差?大家肯定都覺得磁盤寫性能是極差的笆檀。
沒錯，要是真的跟上面那個圖那么簡單的話盒至，那確實(shí)這個性能是比較差的酗洒。
但是實(shí)際上 Kafka 在這里有極為優(yōu)秀和出色的設(shè)計，就是為了保證數(shù)據(jù)寫入性能枷遂，首先 Kafka 是基于操作系統(tǒng)的頁緩存來實(shí)現(xiàn)文件寫入的寝蹈。
操作系統(tǒng)本身有一層緩存，叫做 Page Cache登淘，是在內(nèi)存里的緩存箫老，我們也可以稱之為 OS Cache，意思就是操作系統(tǒng)自己管理的緩存黔州。對大數(shù)據(jù)以及人工智能概念都是模糊不清的耍鬓，該按照什么線路去學(xué)習(xí)，學(xué)完往哪方面發(fā)展流妻，想深入了解牲蜀，想學(xué)習(xí)的同學(xué)歡迎加入大數(shù)據(jù)學(xué)習(xí)扣群：數(shù)據(jù)515—269+數(shù)字485，有大量干貨（零基礎(chǔ)以及進(jìn)階的經(jīng)典實(shí)戰(zhàn)）分享給大家绅这，并且有清華大學(xué)畢業(yè)的資深大數(shù)據(jù)講師給大家免費(fèi)授課涣达，給大家分享目前國內(nèi)最完整的大數(shù)據(jù)高端實(shí)戰(zhàn)實(shí)用學(xué)習(xí)流程體系 。從java和linux入手，其后逐步的深入到HADOOP-hive-oozie-web-flume-python-hbase-kafka-scala-SPARK等相關(guān)知識一一分享度苔！
你在寫入磁盤文件的時候匆篓，可以直接寫入這個 OS Cache 里，也就是僅僅寫入內(nèi)存中寇窑，接下來由操作系統(tǒng)自己決定什么時候把 OS Cache 里的數(shù)據(jù)真的刷入磁盤文件中鸦概。
僅僅這一個步驟，就可以將磁盤文件寫性能提升很多了甩骏，因?yàn)槠鋵?shí)這里相當(dāng)于是在寫內(nèi)存窗市，不是在寫磁盤，大家看下圖：
接著另外一個就是 kafka 寫數(shù)據(jù)的時候咨察，非常關(guān)鍵的一點(diǎn)，它是以磁盤順序?qū)懙姆绞絹韺懙摹?/p>
也就是說福青，僅僅將數(shù)據(jù)追加到文件的末尾摄狱，不是在文件的隨機(jī)位置來修改數(shù)據(jù)。
普通的機(jī)械磁盤如果你要是隨機(jī)寫的話素跺，確實(shí)性能極差二蓝，也就是隨便找到文件的某個位置來寫數(shù)據(jù)。
但是如果你是追加文件末尾按照順序的方式來寫數(shù)據(jù)的話指厌，那么這種磁盤順序?qū)懙男阅芑旧峡梢愿鷮憙?nèi)存的性能本身也是差不多的刊愚。
所以大家就知道了，上面那個圖里踩验，Kafka 在寫數(shù)據(jù)的時候鸥诽，一方面基于 OS 層面的 Page Cache 來寫數(shù)據(jù)，所以性能很高箕憾，本質(zhì)就是在寫內(nèi)存罷了牡借。
另外一個，它是采用磁盤順序?qū)懙姆绞较欤约词箶?shù)據(jù)刷入磁盤的時候钠龙，性能也是極高的，也跟寫內(nèi)存是差不多的御铃。
基于上面兩點(diǎn)碴里，Kafka 就實(shí)現(xiàn)了寫入數(shù)據(jù)的超高性能。那么大家想想上真，假如說 Kafka 寫入一條數(shù)據(jù)要耗費(fèi) 1 毫秒的時間咬腋，那么是不是每秒就是可以寫入 1000 條數(shù)據(jù)?
但是假如 Kafka 的性能極高，寫入一條數(shù)據(jù)僅僅耗費(fèi) 0.01 毫秒呢?那么每秒是不是就可以寫入 10 萬條數(shù)據(jù)?
所以要保證每秒寫入幾萬甚至幾十萬條數(shù)據(jù)的核心點(diǎn)睡互，就是盡最大可能提升每條數(shù)據(jù)寫入的性能根竿，這樣就可以在單位時間內(nèi)寫入更多的數(shù)據(jù)量陵像，提升吞吐量。
零拷貝技術(shù)
說完了寫入這塊寇壳，再來談?wù)勏M(fèi)這塊醒颖。
大家應(yīng)該都知道，從 Kafka 里我們經(jīng)常要消費(fèi)數(shù)據(jù)九巡，那么消費(fèi)的時候?qū)嶋H上就是要從 Kafka 的磁盤文件里讀取某條數(shù)據(jù)然后發(fā)送給下游的消費(fèi)者图贸，如下圖所示：
那么這里如果頻繁的從磁盤讀數(shù)據(jù)然后發(fā)給消費(fèi)者冕广，性能瓶頸在哪里呢?
假設(shè)要是 Kafka 什么優(yōu)化都不做，就是很簡單的從磁盤讀數(shù)據(jù)發(fā)送給下游的消費(fèi)者偿洁，那么大概過程如下所示：
先看看要讀的數(shù)據(jù)在不在 OS Cache 里撒汉，如果不在的話就從磁盤文件里讀取數(shù)據(jù)后放入 OS Cache。
接著從操作系統(tǒng)的 OS Cache 里拷貝數(shù)據(jù)到應(yīng)用程序進(jìn)程的緩存里涕滋，再從應(yīng)用程序進(jìn)程的緩存里拷貝數(shù)據(jù)到操作系統(tǒng)層面的 Socket 緩存里睬辐。
最后從 Socket 緩存里提取數(shù)據(jù)后發(fā)送到網(wǎng)卡，最后發(fā)送出去給下游消費(fèi)宾肺。
整個過程溯饵，如下圖所示：
大家看上圖锨用，很明顯可以看到有兩次沒必要的拷貝吧!一次是從操作系統(tǒng)的 Cache 里拷貝到應(yīng)用進(jìn)程的緩存里丰刊，接著又從應(yīng)用程序緩存里拷貝回操作系統(tǒng)的 Socket 緩存里。
而且為了進(jìn)行這兩次拷貝增拥，中間還發(fā)生了好幾次上下文切換啄巧，一會兒是應(yīng)用程序在執(zhí)行，一會兒上下文切換到操作系統(tǒng)來執(zhí)行掌栅。
所以這種方式來讀取數(shù)據(jù)是比較消耗性能的秩仆。Kafka 為了解決這個問題，在讀數(shù)據(jù)的時候是引入零拷貝技術(shù)猾封。
也就是說澄耍，直接讓操作系統(tǒng)的 Cache 中的數(shù)據(jù)發(fā)送到網(wǎng)卡后傳輸給下游的消費(fèi)者，中間跳過了兩次拷貝數(shù)據(jù)的步驟晌缘，Socket 緩存中僅僅會拷貝一個描述符過去齐莲，不會拷貝數(shù)據(jù)到 Socket 緩存。
大家看下圖枚钓，體會一下這個精妙的過程：
通過零拷貝技術(shù)搀捷，就不需要把 OS Cache 里的數(shù)據(jù)拷貝到應(yīng)用緩存星掰，再從應(yīng)用緩存拷貝到 Socket 緩存了多望，兩次拷貝都省略了，所以叫做零拷貝氢烘。
對 Socket 緩存僅僅就是拷貝數(shù)據(jù)的描述符過去怀偷，然后數(shù)據(jù)就直接從 OS Cache 中發(fā)送到網(wǎng)卡上去了，這個過程大大的提升了數(shù)據(jù)消費(fèi)時讀取文件數(shù)據(jù)的性能播玖。
而且大家會注意到椎工，在從磁盤讀數(shù)據(jù)的時候，會先看看 OS Cache 內(nèi)存中是否有蜀踏，如果有的話维蒙，其實(shí)讀數(shù)據(jù)都是直接讀內(nèi)存的。
如果 Kafka 集群經(jīng)過良好的調(diào)優(yōu)果覆，大家會發(fā)現(xiàn)大量的數(shù)據(jù)都是直接寫入 OS Cache 中颅痊，然后讀數(shù)據(jù)的時候也是從 OS Cache 中讀。
相當(dāng)于是 Kafka 完全基于內(nèi)存提供數(shù)據(jù)的寫和讀了局待，所以這個整體性能會極其的高斑响。
我整理的一些需要掌握的知識技術(shù)點(diǎn)，分享給大家钳榨，話不多說舰罚，提高你的編程技能，認(rèn)真 + 嚴(yán)肅薛耻，走起营罢！
需要思維導(dǎo)圖格式的可以加群：810589193免費(fèi)獲取
其中不單單有Java架構(gòu)技術(shù)點(diǎn)講解，還有最新的面試題總結(jié)和面試經(jīng)驗(yàn)分享昭卓，相信這些資料會對你有幫助愤钾！不多說直接上干貨。
一部分學(xué)習(xí)路線思維導(dǎo)圖
包括了源碼分析候醒、性能優(yōu)化能颁、微服務(wù)架構(gòu)、分布式倒淫、電商實(shí)戰(zhàn)伙菊。
針對上面的路線圖譜返干，有很多問題不是靠幾句話能講清楚兴枯，所以自己錄制了一些視頻，用來回答這些技術(shù)矩欠。很多問題其實(shí)答案很簡單财剖，但是背后的思考和邏輯不簡單悠夯，要做到知其然還要知其所以然。下面是我截取的部分課程表躺坟。
最后送福利了，現(xiàn)在加群：810589193可以免費(fèi)獲取Java工程化咪橙、高性能及分布式夕膀、高性能、高架構(gòu)美侦、性能調(diào)優(yōu)产舞、Spring、MyBatis音榜、Netty源碼分析等多個知識點(diǎn)高級進(jìn)階干貨的相關(guān)視頻資料庞瘸，還有spring和虛擬機(jī)等書籍掃描版捧弃，還有更多面試題等你來拿
分享給喜歡Java赠叼，喜歡編程，有夢想成為架構(gòu)師的程序員們违霞，希望能夠幫助到你們嘴办。
最后，做一個愛思考买鸽，懂思考涧郊，會思考的程序員。
總結(jié)
通過這篇文章對 Kafka 底層的頁緩存技術(shù)的使用眼五，磁盤順序?qū)懙乃悸纷彼遥约傲憧截惣夹g(shù)的運(yùn)用，大家應(yīng)該就明白 Kafka 每臺機(jī)器在底層對數(shù)據(jù)進(jìn)行寫和讀的時候采取的是什么樣的思路看幼，為什么它的性能可以那么高批旺，做到每秒幾十萬的吞吐量。
這種設(shè)計思想對我們平時自己設(shè)計中間件的架構(gòu)诵姜，或者是出去面試的時候汽煮，都有很大的幫助。
看到最后的都是真愛了棚唆，感覺文章不錯的記得給小編點(diǎn)個贊哦暇赤，關(guān)注小編，以后會有更多的精品文章輸出哦宵凌。
