消息隊(duì)列通信的模式
通過上面的例子我們引出了消息中間件，并且介紹了消息隊(duì)列出現(xiàn)后的好處飞袋，這里就需要介紹消息隊(duì)列通信的兩種模式了：
一瞻坝、 點(diǎn)對(duì)點(diǎn)模式
如上圖所示，點(diǎn)對(duì)點(diǎn)模式通常是基于拉取或者輪詢的消息傳送模型寞缝，這個(gè)模型的特點(diǎn)是發(fā)送到隊(duì)列的消息被一個(gè)且只有一個(gè)消費(fèi)者進(jìn)行處理。生產(chǎn)者將消息放入消息隊(duì)列后仰泻，由消費(fèi)者主動(dòng)的去拉取消息進(jìn)行消費(fèi)荆陆。點(diǎn)對(duì)點(diǎn)模型的的優(yōu)點(diǎn)是消費(fèi)者拉取消息的頻率可以由自己控制。但是消息隊(duì)列是否有消息需要消費(fèi)集侯，在消費(fèi)者端無法感知被啼，所以在消費(fèi)者端需要額外的線程去監(jiān)控。
二棠枉、 發(fā)布訂閱模式
如上圖所示浓体，發(fā)布訂閱模式是一個(gè)基于消息送的消息傳送模型，改模型可以有多種不同的訂閱者辈讶。生產(chǎn)者將消息放入消息隊(duì)列后命浴，隊(duì)列會(huì)將消息推送給訂閱過該類消息的消費(fèi)者（類似微信公眾號(hào)）。由于是消費(fèi)者被動(dòng)接收推送，所以無需感知消息隊(duì)列是否有待消費(fèi)的消息生闲！但是consumer1媳溺、consumer2、consumer3由于機(jī)器性能不一樣碍讯，所以處理消息的能力也會(huì)不一樣悬蔽，但消息隊(duì)列卻無法感知消費(fèi)者消費(fèi)的速度！所以推送的速度成了發(fā)布訂閱模模式的一個(gè)問題捉兴！假設(shè)三個(gè)消費(fèi)者處理速度分別是8M/s屯阀、5M/s、2M/s轴术，如果隊(duì)列推送的速度為5M/s，則consumer3無法承受钦无！如果隊(duì)列推送的速度為2M/s逗栽，則consumer1、consumer2會(huì)出現(xiàn)資源的極大浪費(fèi)失暂！
Kafka
上面簡單的介紹了為什么需要消息隊(duì)列以及消息隊(duì)列通信的兩種模式彼宠，接下來就到了我們本文的主角——kafka閃亮登場(chǎng)的時(shí)候了！Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)弟塞，它可以處理消費(fèi)者規(guī)模的網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)凭峡，具有高性能、持久化决记、多副本備份摧冀、橫向擴(kuò)展能力……… 一些基本的介紹這里就不展開了，網(wǎng)上有太多關(guān)于這些的介紹了系宫，讀者可以自行百度一下索昂！
基礎(chǔ)架構(gòu)及術(shù)語
話不多說，先看圖扩借，通過這張圖我們來捋一捋相關(guān)的概念及之間的關(guān)系：
如果看到這張圖你很懵逼椒惨，木有關(guān)系！我們先來分析相關(guān)概念
Producer：Producer即生產(chǎn)者潮罪，消息的產(chǎn)生者康谆，是消息的入口。
kafka cluster：
Broker：Broker是kafka實(shí)例嫉到，每個(gè)服務(wù)器上有一個(gè)或多個(gè)kafka的實(shí)例沃暗，我們姑且認(rèn)為每個(gè)broker對(duì)應(yīng)一臺(tái)服務(wù)器。每個(gè)kafka集群內(nèi)的broker都有一個(gè)不重復(fù)的編號(hào)屯碴，如圖中的broker-0描睦、broker-1等……
Topic：消息的主題，可以理解為消息的分類导而，kafka的數(shù)據(jù)就保存在topic忱叭。在每個(gè)broker上都可以創(chuàng)建多個(gè)topic隔崎。
Partition：Topic的分區(qū)，每個(gè)topic可以有多個(gè)分區(qū)韵丑，分區(qū)的作用是做負(fù)載爵卒，提高kafka的吞吐量。同一個(gè)topic在不同的分區(qū)的數(shù)據(jù)是不重復(fù)的撵彻，partition的表現(xiàn)形式就是一個(gè)一個(gè)的文件夾钓株！
Replication:每一個(gè)分區(qū)都有多個(gè)副本，副本的作用是做備胎陌僵。當(dāng)主分區(qū)（Leader）故障的時(shí)候會(huì)選擇一個(gè)備胎（Follower）上位轴合，成為Leader。在kafka中默認(rèn)副本的最大數(shù)量是10個(gè)碗短，且副本的數(shù)量不能大于Broker的數(shù)量受葛，follower和leader絕對(duì)是在不同的機(jī)器，同一機(jī)器對(duì)同一個(gè)分區(qū)也只可能存放一個(gè)副本（包括自己）偎谁。
Message：每一條發(fā)送的消息主體总滩。
Consumer：消費(fèi)者，即消息的消費(fèi)方巡雨，是消息的出口闰渔。
Consumer Group：我們可以將多個(gè)消費(fèi)組組成一個(gè)消費(fèi)者組，在kafka的設(shè)計(jì)中同一個(gè)分區(qū)的數(shù)據(jù)只能被消費(fèi)者組中的某一個(gè)消費(fèi)者消費(fèi)铐望。同一個(gè)消費(fèi)者組的消費(fèi)者可以消費(fèi)同一個(gè)topic的不同分區(qū)的數(shù)據(jù)冈涧，這也是為了提高kafka的吞吐量！
Zookeeper：kafka集群依賴zookeeper來保存集群的的元信息蝌以，來保證系統(tǒng)的可用性炕舵。
工作流程分析
上面介紹了kafka的基礎(chǔ)架構(gòu)及基本概念，不知道大家看完有沒有對(duì)kafka有個(gè)大致印象跟畅，如果對(duì)還比較懵也沒關(guān)系咽筋！我們接下來再結(jié)合上面的結(jié)構(gòu)圖分析kafka的工作流程，最后再回來整個(gè)梳理一遍我相信你會(huì)更有收獲徊件！
發(fā)送數(shù)據(jù)
我們看上面的架構(gòu)圖中奸攻，producer就是生產(chǎn)者，是數(shù)據(jù)的入口虱痕。注意看圖中的紅色箭頭睹耐，Producer在寫入數(shù)據(jù)的時(shí)候永遠(yuǎn)的找leader，不會(huì)直接將數(shù)據(jù)寫入follower部翘！那leader怎么找呢硝训？寫入的流程又是什么樣的呢？我們看下圖：
發(fā)送的流程就在圖中已經(jīng)說明了，就不單獨(dú)在文字列出來了窖梁！需要注意的一點(diǎn)是赘风，消息寫入leader后，follower是主動(dòng)的去leader進(jìn)行同步的纵刘！producer采用push模式將數(shù)據(jù)發(fā)布到broker邀窃，每條消息追加到分區(qū)中，順序?qū)懭氪疟P假哎，所以保證同一分區(qū)內(nèi)的數(shù)據(jù)是有序的瞬捕！寫入示意圖如下：
上面說到數(shù)據(jù)會(huì)寫入到不同的分區(qū)，那kafka為什么要做分區(qū)呢舵抹？相信大家應(yīng)該也能猜到肪虎，分區(qū)的主要目的是：
1、 方便擴(kuò)展惧蛹。因?yàn)橐粋€(gè)topic可以有多個(gè)partition笋轨，所以我們可以通過擴(kuò)展機(jī)器去輕松的應(yīng)對(duì)日益增長的數(shù)據(jù)量。
2赊淑、 提高并發(fā)。以partition為讀寫單位仅讽，可以多個(gè)消費(fèi)者同時(shí)消費(fèi)數(shù)據(jù)陶缺，提高了消息的處理效率。
熟悉負(fù)載均衡的朋友應(yīng)該知道洁灵，當(dāng)我們向某個(gè)服務(wù)器發(fā)送請(qǐng)求的時(shí)候饱岸，服務(wù)端可能會(huì)對(duì)請(qǐng)求做一個(gè)負(fù)載，將流量分發(fā)到不同的服務(wù)器徽千，那在kafka中苫费，如果某個(gè)topic有多個(gè)partition，producer又怎么知道該將數(shù)據(jù)發(fā)往哪個(gè)partition呢双抽？kafka中有幾個(gè)原則：
1百框、 partition在寫入的時(shí)候可以指定需要寫入的partition，如果有指定牍汹，則寫入對(duì)應(yīng)的partition铐维。
2、 如果沒有指定partition慎菲，但是設(shè)置了數(shù)據(jù)的key嫁蛇，則會(huì)根據(jù)key的值hash出一個(gè)partition。
3露该、 如果既沒指定partition睬棚，又沒有設(shè)置key，則會(huì)輪詢選出一個(gè)partition。
保證消息不丟失是一個(gè)消息隊(duì)列中間件的基本保證抑党，那producer在向kafka寫入消息的時(shí)候包警，怎么保證消息不丟失呢？其實(shí)上面的寫入流程圖中有描述出來新荤，那就是通過ACK應(yīng)答機(jī)制揽趾！在生產(chǎn)者向隊(duì)列寫入數(shù)據(jù)的時(shí)候可以設(shè)置參數(shù)來確定是否確認(rèn)kafka接收到數(shù)據(jù)，這個(gè)參數(shù)可設(shè)置的值為0苛骨、1篱瞎、all。
0代表producer往集群發(fā)送數(shù)據(jù)不需要等到集群的返回痒芝，不確保消息發(fā)送成功俐筋。安全性最低但是效率最高。
1代表producer往集群發(fā)送數(shù)據(jù)只要leader應(yīng)答就可以發(fā)送下一條严衬，只確保leader發(fā)送成功澄者。
all代表producer往集群發(fā)送數(shù)據(jù)需要所有的follower都完成從leader的同步才會(huì)發(fā)送下一條，確保leader發(fā)送成功和所有的副本都完成備份请琳。安全性最高粱挡，但是效率最低。
最后要注意的是俄精，如果往不存在的topic寫數(shù)據(jù)询筏，能不能寫入成功呢？kafka會(huì)自動(dòng)創(chuàng)建topic竖慧，分區(qū)和副本的數(shù)量根據(jù)默認(rèn)配置都是1嫌套。
保存數(shù)據(jù)
Producer將數(shù)據(jù)寫入kafka后，集群就需要對(duì)數(shù)據(jù)進(jìn)行保存了圾旨！kafka將數(shù)據(jù)保存在磁盤踱讨，可能在我們的一般的認(rèn)知里，寫入磁盤是比較耗時(shí)的操作砍的，不適合這種高并發(fā)的組件痹筛。Kafka初始會(huì)單獨(dú)開辟一塊磁盤空間，順序?qū)懭霐?shù)據(jù)（效率比隨機(jī)寫入高）廓鞠。
Partition 結(jié)構(gòu)
前面說過了每個(gè)topic都可以分為一個(gè)或多個(gè)partition味混，如果你覺得topic比較抽象，那partition就是比較具體的東西了诫惭！Partition在服務(wù)器上的表現(xiàn)形式就是一個(gè)一個(gè)的文件夾翁锡，每個(gè)partition的文件夾下面會(huì)有多組segment文件，每組segment文件又包含.index文件夕土、.log文件馆衔、.timeindex文件（早期版本中沒有）三個(gè)文件瘟判， log文件就實(shí)際是存儲(chǔ)message的地方，而index和timeindex文件為索引文件角溃，用于檢索消息拷获。
如上圖，這個(gè)partition有三組segment文件减细，每個(gè)log文件的大小是一樣的匆瓜，但是存儲(chǔ)的message數(shù)量是不一定相等的（每條的message大小不一致）。文件的命名是以該segment最小offset來命名的未蝌，如000.index存儲(chǔ)offset為0~368795的消息驮吱，kafka就是利用分段+索引的方式來解決查找效率的問題。
Message結(jié)構(gòu)
上面說到log文件就實(shí)際是存儲(chǔ)message的地方萧吠，我們?cè)趐roducer往kafka寫入的也是一條一條的message左冬，那存儲(chǔ)在log中的message是什么樣子的呢？消息主要包含消息體纸型、消息大小拇砰、offset、壓縮類型……等等狰腌！我們重點(diǎn)需要知道的是下面三個(gè)：
1除破、 offset：offset是一個(gè)占8byte的有序id號(hào)，它可以唯一確定每條消息在parition內(nèi)的位置琼腔！
2皂岔、 消息大小：消息大小占用4byte展姐，用于描述消息的大小。
3剖毯、 消息體：消息體存放的是實(shí)際的消息數(shù)據(jù)（被壓縮過）圾笨，占用的空間根據(jù)具體的消息而不一樣。
存儲(chǔ)策略
無論消息是否被消費(fèi)逊谋，kafka都會(huì)保存所有的消息擂达。那對(duì)于舊數(shù)據(jù)有什么刪除策略呢？
1胶滋、 基于時(shí)間板鬓，默認(rèn)配置是168小時(shí)（7天）。
2究恤、 基于大小俭令，默認(rèn)配置是1073741824。
需要注意的是部宿，kafka讀取特定消息的時(shí)間復(fù)雜度是O(1)抄腔，所以這里刪除過期的文件并不會(huì)提高kafka的性能瓢湃！
消費(fèi)數(shù)據(jù)
消息存儲(chǔ)在log文件后，消費(fèi)者就可以進(jìn)行消費(fèi)了赫蛇。在講消息隊(duì)列通信的兩種模式的時(shí)候講到過點(diǎn)對(duì)點(diǎn)模式和發(fā)布訂閱模式绵患。Kafka采用的是點(diǎn)對(duì)點(diǎn)的模式，消費(fèi)者主動(dòng)的去kafka集群拉取消息悟耘，與producer相同的是落蝙，消費(fèi)者在拉取消息的時(shí)候也是找leader去拉取。
多個(gè)消費(fèi)者可以組成一個(gè)消費(fèi)者組（consumer group）暂幼，每個(gè)消費(fèi)者組都有一個(gè)組id筏勒！同一個(gè)消費(fèi)組者的消費(fèi)者可以消費(fèi)同一topic下不同分區(qū)的數(shù)據(jù)，但是不會(huì)組內(nèi)多個(gè)消費(fèi)者消費(fèi)同一分區(qū)的數(shù)據(jù)Ｋ谑摹Ｗ嗾！是不是有點(diǎn)繞鹰服。我們看下圖：
圖示是消費(fèi)者組內(nèi)的消費(fèi)者小于partition數(shù)量的情況病瞳，所以會(huì)出現(xiàn)某個(gè)消費(fèi)者消費(fèi)多個(gè)partition數(shù)據(jù)的情況，消費(fèi)的速度也就不及只處理一個(gè)partition的消費(fèi)者的處理速度悲酷！如果是消費(fèi)者組的消費(fèi)者多于partition的數(shù)量套菜，那會(huì)不會(huì)出現(xiàn)多個(gè)消費(fèi)者消費(fèi)同一個(gè)partition的數(shù)據(jù)呢？上面已經(jīng)提到過不會(huì)出現(xiàn)這種情況设易！多出來的消費(fèi)者不消費(fèi)任何partition的數(shù)據(jù)逗柴。所以在實(shí)際的應(yīng)用中，建議消費(fèi)者組的consumer的數(shù)量與partition的數(shù)量一致顿肺！
在保存數(shù)據(jù)的小節(jié)里面戏溺，我們聊到了partition劃分為多組segment，每個(gè)segment又包含.log屠尊、.index旷祸、.timeindex文件，存放的每條message包含offset讼昆、消息大小托享、消息體……我們多次提到segment和offset，查找消息的時(shí)候是怎么利用segment+offset配合查找的呢浸赫？假如現(xiàn)在需要查找一個(gè)offset為368801的message是什么樣的過程呢闰围？我們先看看下面的圖：
1、 先找到offset的368801message所在的segment文件（利用二分法查找）既峡，這里找到的就是在第二個(gè)segment文件羡榴。
2、 打開找到的segment中的.index文件（也就是368796.index文件运敢，該文件起始偏移量為368796+1炕矮，我們要查找的offset為368801的message在該index內(nèi)的偏移量為368796+5=368801么夫，所以這里要查找的相對(duì)offset為5）。由于該文件采用的是稀疏索引的方式存儲(chǔ)著相對(duì)offset及對(duì)應(yīng)message物理偏移量的關(guān)系肤视，所以直接找相對(duì)offset為5的索引找不到档痪，這里同樣利用二分法查找相對(duì)offset小于或者等于指定的相對(duì)offset的索引條目中最大的那個(gè)相對(duì)offset，所以找到的是相對(duì)offset為4的這個(gè)索引邢滑。
3腐螟、 根據(jù)找到的相對(duì)offset為4的索引確定message存儲(chǔ)的物理偏移位置為256。打開數(shù)據(jù)文件困后，從位置為256的那個(gè)地方開始順序掃描直到找到offset為368801的那條Message乐纸。
這套機(jī)制是建立在offset為有序的基礎(chǔ)上，利用segment+有序offset+稀疏索引+二分查找+順序查找等多種手段來高效的查找數(shù)據(jù)摇予！至此汽绢，消費(fèi)者就能拿到需要處理的數(shù)據(jù)進(jìn)行處理了。那每個(gè)消費(fèi)者又是怎么記錄自己消費(fèi)的位置呢侧戴？在早期的版本中宁昭，消費(fèi)者將消費(fèi)到的offset維護(hù)zookeeper中，consumer每間隔一段時(shí)間上報(bào)一次酗宋，這里容易導(dǎo)致重復(fù)消費(fèi)积仗，且性能不好！在新的版本中消費(fèi)者消費(fèi)到的offset已經(jīng)直接維護(hù)在kafk集群的__consumer_offsets這個(gè)topic中蜕猫！
【轉(zhuǎn)自 https://www.cnblogs.com/sujing/p/10960832.html】
