Kafka是什么
Kafka是最初由Linkedin公司開發(fā)声功，是一個分布式、分區(qū)的宠叼、多副本的先巴、多訂閱者，基于zookeeper協(xié)調(diào)的分布式日志系統(tǒng)(也可以當(dāng)做MQ系統(tǒng))，常見可以用于web/nginx日志伸蚯、訪問日志摩渺，消息服務(wù)等等，Linkedin于2010年貢獻給了Apache基金會并成為頂級開源項目剂邮。
1.前言
一個商業(yè)化消息隊列的性能好壞摇幻，其文件存儲機制設(shè)計是衡量一個消息隊列服務(wù)技術(shù)水平和最關(guān)鍵指標(biāo)之一。
下面將從Kafka文件存儲機制和物理結(jié)構(gòu)角度抗斤，分析Kafka是如何實現(xiàn)高效文件存儲囚企，及實際應(yīng)用效果。
2.Kafka文件存儲機制
Kafka部分名詞解釋如下：
- Broker：消息中間件處理結(jié)點瑞眼，一個Kafka節(jié)點就是一個broker龙宏，多個broker可以組成一個Kafka集群。
- Topic：一類消息伤疙，例如page view日志银酗、click日志等都可以以topic的形式存在，Kafka集群能夠同時負(fù)責(zé)多個topic的分發(fā)徒像。
- Partition：topic物理上的分組黍特，一個topic可以分為多個partition，每個partition是一個有序的隊列锯蛀。
- Segment：partition物理上由多個segment組成灭衷，下面2.2和2.3有詳細說明。
- offset：每個partition都由一系列有序的旁涤、不可變的消息組成翔曲，這些消息被連續(xù)的追加到partition中。partition中的每個消息都有一個連續(xù)的序列號叫做offset,用于partition唯一標(biāo)識一條消息
分析過程分為以下4個步驟：
- topic中partition存儲分布
- partiton中文件存儲方式
- partiton中segment文件存儲結(jié)構(gòu)
- 在partition中如何通過offset查找message
通過上述4過程詳細分析劈愚，我們就可以清楚認(rèn)識到kafka文件存儲機制的奧秘瞳遍。
2.1 topic中partition存儲分布
假設(shè)實驗環(huán)境中Kafka集群只有一個broker，xxx/message-folder為數(shù)據(jù)文件存儲根目錄菌羽，在Kafka broker中server.properties文件配置(參數(shù)log.dirs=xxx/message-folder)掠械，例如創(chuàng)建2個topic名稱分別為report_push、launch_info, partitions數(shù)量都為partitions=4
存儲路徑和目錄規(guī)則為：
xxx/message-folder
|--report_push-0
|--report_push-1
|--report_push-2
|--report_push-3
|--launch_info-0
|--launch_info-1
|--launch_info-2
|--launch_info-3
在Kafka文件存儲中注祖，同一個topic下有多個不同partition猾蒂，每個partition為一個目錄，partiton命名規(guī)則為topic名稱+有序序號是晨，第一個partiton序號從0開始婚夫，序號最大值為partitions數(shù)量減1。如果是多broker分布情況署鸡，請參考kafka集群partition分布原理分析
2.2 partiton中文件存儲方式
下面示意圖形象說明了partition中文件存儲方式:
- 每個partion(目錄)相當(dāng)于一個巨型文件被平均分配到多個大小相等segment(段)數(shù)據(jù)文件中。但每個段segment file消息數(shù)量不一定相等，這種特性方便old segment file快速被刪除靴庆。
- 每個partiton只需要支持順序讀寫就行了时捌，segment文件生命周期由服務(wù)端配置參數(shù)決定。
這樣做的好處就是能快速刪除無用文件炉抒，有效提高磁盤利用率奢讨。
2.3 partiton中segment文件存儲結(jié)構(gòu)
讀者從2.2節(jié)了解到Kafka文件系統(tǒng)partition存儲方式，本節(jié)深入分析partion中segment file組成和物理結(jié)構(gòu)焰薄。
- segment file組成：由2大部分組成拿诸，分別為index file和data file，此2個文件一一對應(yīng)塞茅，成對出現(xiàn)亩码，后綴".index"和“.log”分別表示為segment索引文件、數(shù)據(jù)文件.
- segment文件命名規(guī)則：partion全局的第一個segment從0開始野瘦，后續(xù)每個segment文件名為上一個segment文件最后一條消息的offset值描沟。數(shù)值最大為64位long大小，19位數(shù)字字符長度鞭光，沒有數(shù)字用0填充吏廉。
下面文件列表是筆者在Kafka broker上做的一個實驗，創(chuàng)建一個topicXXX包含1 partition惰许，設(shè)置每個segment大小為500MB,并啟動producer向Kafka broker寫入大量數(shù)據(jù),如下圖2所示segment文件列表形象說明了上述2個規(guī)則：
以上述圖2中一對segment file文件為例席覆，說明segment中index<—->data file對應(yīng)關(guān)系物理結(jié)構(gòu)如下：
上述圖3中索引文件存儲大量元數(shù)據(jù)，數(shù)據(jù)文件存儲大量消息汹买，索引文件中元數(shù)據(jù)指向?qū)?yīng)數(shù)據(jù)文件中message的物理偏移地址佩伤。
其中以索引文件中元數(shù)據(jù)3,497為例，依次在數(shù)據(jù)文件中表示第3個message(在全局partiton表示第368772個message)卦睹、以及該消息的物理偏移地址為497畦戒。
從上述圖3了解到segment data file由許多message組成，下面詳細說明message物理結(jié)構(gòu)如下：
2.4 在partition中如何通過offset查找message
例如讀取offset=368776的message结序，需要通過下面2個步驟查找障斋。
- 第一步查找segment file
上述圖2為例，其中00000000000000000000.index表示最開始的文件徐鹤，起始偏移量(offset)為0.第二個文件00000000000000368769.index的消息量起始偏移量為368770 = 368769 + 1.同樣垃环，第三個文件00000000000000737337.index的起始偏移量為737338=737337 + 1，其他后續(xù)文件依次類推返敬，以起始偏移量命名并排序這些文件遂庄，只要根據(jù)offset 二分查找文件列表，就可以快速定位到具體文件劲赠。
當(dāng)offset=368776時定位到00000000000000368769.index|log - 第二步通過segment file查找message
通過第一步定位到segment file涛目，當(dāng)offset=368776時秸谢，依次定位到00000000000000368769.index的元數(shù)據(jù)物理位置和00000000000000368769.log的物理偏移地址，然后再通過00000000000000368769.log順序查找直到offset=368776為止霹肝。
從上述圖3可知這樣做的優(yōu)點估蹄，segment index file采取稀疏索引存儲方式，它減少索引文件大小沫换，通過mmap可以直接內(nèi)存操作臭蚁，稀疏索引為數(shù)據(jù)文件的每個對應(yīng)message設(shè)置一個元數(shù)據(jù)指針,它比稠密索引節(jié)省了更多的存儲空間，但查找起來需要消耗更多的時間讯赏。
3 Kafka文件存儲機制–實際運行效果
實驗環(huán)境：
- Kafka集群：由2臺虛擬機組成
- cpu：4核
- 物理內(nèi)存：8GB
- 網(wǎng)卡：千兆網(wǎng)卡
- jvm heap: 4GB
- 詳細Kafka服務(wù)端配置及其優(yōu)化請參考：kafka server.properties配置詳解
從上述圖5可以看出垮兑，Kafka運行時很少有大量讀磁盤的操作，主要是定期批量寫磁盤操作漱挎，因此操作磁盤很高效系枪。這跟Kafka文件存儲中讀寫message的設(shè)計是息息相關(guān)的。Kafka中讀寫message有如下特點:
寫message
- 消息從java堆轉(zhuǎn)入page cache(即物理內(nèi)存)识樱。
- 由異步線程刷盤,消息從page cache刷入磁盤嗤无。
讀message
- 消息直接從page cache轉(zhuǎn)入socket發(fā)送出去。
- 當(dāng)從page cache沒有找到相應(yīng)數(shù)據(jù)時怜庸，此時會產(chǎn)生磁盤IO,從磁盤Load消息到page cache,然后直接從socket發(fā)出去
4.總結(jié)
Kafka高效文件存儲設(shè)計特點
- Kafka把topic中一個parition大文件分成多個小文件段当犯，通過多個小文件段，就容易定期清除或刪除已經(jīng)消費完文件割疾，減少磁盤占用嚎卫。
- 通過索引信息可以快速定位message和確定response的最大大小。
- 通過index元數(shù)據(jù)全部映射到memory宏榕，可以避免segment file的IO磁盤操作拓诸。
- 通過索引文件稀疏存儲，可以大幅降低index文件元數(shù)據(jù)占用空間大小麻昼。
