發(fā)簡信
IP屬地：北京
-
Spark性能優(yōu)化：開發(fā)調(diào)優(yōu)篇http://blog.csdn.net/u012102306/article/details/51322209 1贮折、前言 在大數(shù)據(jù)計算領(lǐng)域掏导，S...
-
數(shù)據(jù)傾斜與shuffle類性能調(diào)優(yōu)
場景 數(shù)據(jù)傾斜解決方案與shuffle類性能調(diào)優(yōu) 分析 數(shù)據(jù)傾斜 有的時候，我們可能會遇到大數(shù)據(jù)計算中一個最棘手的問題——數(shù)據(jù)傾斜漓库，此時Spar...
-
-
spark:SparkContext原理1.創(chuàng)建SparkContext會 createTaskScheduler()恃慧，DAGScheduler,SparkUI. createTask...
-
spark:spark內(nèi)核架構(gòu)1.首先用spark-submit提交我們的application，那么在standalone模式下渺蒿，會在client啟動一個Driver進(jìn)程痢士，...