分布式系統(tǒng)里的Shuffle 階段往往是非常復(fù)雜的障斋，而且分支條件也多，我只能按著我關(guān)注的線去描述垃环。肯定會有不少謬誤之處遂庄，我會根據(jù)自己理解的深入，不斷更新這篇文章涛目。 前言 借用...
發(fā)簡信
IP屬地：北京
-
Spark Sort Based Shuffle內(nèi)存分析
-
技術(shù)合伙人之殤
最近幾年霹肝，有兩件事情讓做技術(shù)的人價值呈現(xiàn)幾何倍的增長： 移動互聯(lián)網(wǎng)時代崛起。那個時候人人似乎都想做APP開發(fā)沫换，因為來錢快，也迎來了個人開發(fā)者的一個黃金期讯赏。 大數(shù)據(jù)的崛起垮兑。如果...
-
Spark深入學(xué)習(xí)專題旨在通過高質(zhì)量的文章對Spark相關(guān)技術(shù)進(jìn)行研究學(xué)習(xí)
-
Spark On Yarn 如何提高CPU利用率問題描述： Spark on Yarn是利用yarn進(jìn)行資源調(diào)度拓诸，這兩天我寫的一個程序處理大概100W行文本麻昼，文本格式是txt奠支，數(shù)據(jù)大小為50M左右。我將Scala寫的...
