在上一篇郊楣，我們從使用方式和策略上锅论，對消息隊(duì)列做了一個(gè)宏觀描述。從本篇開始，我們將深入到源碼內(nèi)部，仔細(xì)分析Kafka到底是如何實(shí)現(xiàn)一個(gè)分布式消息隊(duì)列。我們的分析將從Produc...
發(fā)簡信
IP屬地：福建
-
Kafka源碼深度解析－序列2 －Producer －Metadata的數(shù)據(jù)結(jié)構(gòu)與讀取夹抗、更新策略
-
5.Kafka源碼深入解析之拉取元數(shù)據(jù)02
上一節(jié)我們詳細(xì)解析了生產(chǎn)端在發(fā)消息的dosend()里哀卫，首先是拉取元數(shù)據(jù)信息，在拉取過程中撬槽，先喚醒了sender線程此改，接著主線程進(jìn)入等待狀態(tài)，直到sender線程拉取元數(shù)據(jù)成...
-
Centos7下安裝kudu簡介 kudu官網(wǎng)https://kudu.apache.org/ 準(zhǔn)備 直接通過yum install是找不到kudu的源的恢氯，在官網(wǎng)安裝的頁面詳細(xì)介紹了怎么在各種系統(tǒng)下安裝...
-
[第九章]Job觸發(fā)流程原理剖析
上一節(jié)我們是不是講到带斑，Driver，Application注冊到Master上面后勋拟，Master中調(diào)用scheduler()進(jìn)行資源調(diào)度勋磕，在這個(gè)里面通過LaunchDrive...
-
Hive中MetaServer與HiveServer2的應(yīng)用在hive中有metaServer與hiveServer2兩種服務(wù)，看了好多文章說這兩個(gè)的區(qū)別敢靡，文章內(nèi)容有對有錯(cuò)挂滓，不夠全面，故在這里好好總結(jié)一下啸胧。 首先赶站，下面這個(gè)hive構(gòu)架...
-
[第五章]Master注冊機(jī)制嘗試剖析
前面三章我們已經(jīng)嘗試剖析講過SparkContext的基本的原理幔虏，其實(shí)涉及到了Driver對Master的注冊，本節(jié)就關(guān)于Master注冊機(jī)制進(jìn)行更詳細(xì)的剖析贝椿。 我們知道Sp...
-
[第三章] sparkContext原理剖析
前面我們講過了了關(guān)于spark整體構(gòu)架原理想括，在spark中 ,當(dāng)執(zhí)行我們的application,也就是我們寫的程代碼，我們回想一下烙博，之前我們寫的spark應(yīng)用的第一行是不是...
