18篇文章 · 10614字 · 2人關(guān)注
-
Hbase讀流程解析
Hbase讀寫流程解析（總括） 上節(jié)課我們?cè)敿?xì)說明了Hbase的架構(gòu)，包括HMaster,HRegionServerf(RS),Hlog,HRe...
-
大數(shù)據(jù)基礎(chǔ)系列之提交spark應(yīng)用及依賴管理
大數(shù)據(jù)基礎(chǔ)系列之提交spark應(yīng)用及依賴管理 spark基礎(chǔ) 這是一級(jí)標(biāo)題 這是二級(jí)標(biāo)題 這是三級(jí)標(biāo)題 這是四級(jí)標(biāo)題 這是五級(jí)標(biāo)題 這是六級(jí)標(biāo)題...
-
Yarn的內(nèi)存分析首先我們看一下Yarn的內(nèi)存組成圖 首先下面的兩個(gè)參數(shù)決定這集群資源管理器能夠有多少資源用于運(yùn)行yarn上的任務(wù) yarn.nodemanage...
-
spark on yarn源碼解析
本文章，原創(chuàng) 若澤數(shù)據(jù) ，禁止所有閱讀，轉(zhuǎn)載，分享及評(píng)論 spark on yarn 執(zhí)行流程前置 構(gòu)建Spark Application的運(yùn)行...
-
[第十七章]CacheManage原理剖析
我們知道一個(gè)task在執(zhí)行一個(gè)RDD時(shí)睦刃，會(huì)調(diào)用rdd的iterator()方法，計(jì)算當(dāng)前的partition. 但是十酣，如果之前從來沒有對(duì)這個(gè)RD...
-
[第十六章]BlockManager原理剖析
在Driver的DAGScheduler中還有一個(gè)很重要的對(duì)象BlockManagerMaster,它的功能涩拙，其實(shí)很簡(jiǎn)單，就是負(fù)責(zé)對(duì)各個(gè)節(jié)點(diǎn) 的...
-
[第十五章]Shuffle的讀寫源碼剖析_4
上兩節(jié)我們講了普通shuffle的操作原理耸采，與優(yōu)化后的操作原理兴泥。并對(duì)比了他們各自的特別。那么我就了解到spark shuffle其實(shí)是進(jìn)行了兩步...
-
[第十四章]Spark Shuffle的原理剖析_1
本章節(jié)主要是剖析Shuffle原理虾宇，spark中的Shuffle是非常重要的搓彻，shuffle不管在Hadoop中還是Spark中都是重重之重，特...
-
[第十章]Stage劃分算法的剖析
通過上節(jié)內(nèi)容我們知道一個(gè)Application包括多個(gè)JOB嘱朽，那么JOB劃分是代碼中上一個(gè)Action操作旭贬，會(huì)劃分一個(gè)JOB，就是說多個(gè)Acti...
