正文內(nèi)容分為上下兩篇來(lái)闡述苔巨，上一篇見(jiàn)《Spark內(nèi)存管理詳解（上）——內(nèi)存分配》[http://www.reibang.com/p/3981b14df76b] 3. 存儲(chǔ)內(nèi)...
IP屬地：河北
-
Spark內(nèi)存管理詳解（下）——內(nèi)存管理 -
SparkOnYarn的參數(shù)spark.yarn.executor.memoryOverhead
spark.yarn.executor.memoryOverhead這個(gè)參數(shù)困擾了我很久请敦，首先文檔說(shuō)它代表的是exector中分配的堆外內(nèi)存，然而在創(chuàng)建MemoryManag...
-
spark -SQL 配置參數(shù)
Spark-Sql的參數(shù)調(diào)優(yōu)： 官網(wǎng)： http://spark.apache.org/docs/latest/sql-programming-guide.html 緩存表參...
-
Spark參數(shù)調(diào)優(yōu)
spark.shuffle.file.buffer 默認(rèn)值：32k參數(shù)說(shuō)明：該參數(shù)用于設(shè)置shuffle write task的BufferedOutputStream的bu...
-
Spark內(nèi)存管理詳解（上）——內(nèi)存分配正文內(nèi)容分為上下兩篇來(lái)闡述，下一篇見(jiàn)《Spark內(nèi)存管理詳解（下）——內(nèi)存管理》[http://www.reibang.com/p/58288b862030] 引言 Spa...
-
spark 優(yōu)化 分析方向 (數(shù)據(jù)傾斜）
第2章 Spark數(shù)據(jù)傾斜 Spark中的數(shù)據(jù)傾斜問(wèn)題主要指shuffle過(guò)程中出現(xiàn)的數(shù)據(jù)傾斜問(wèn)題沮稚，是由于不同的key對(duì)應(yīng)的數(shù)據(jù)量不同導(dǎo)致的不同task所處理的數(shù)據(jù)量不同的問(wèn)...
-
spark 優(yōu)化 分析方向 (性能調(diào)優(yōu)）
第1章 Spark 性能調(diào)優(yōu) 1.1 常規(guī)性能調(diào)優(yōu) 1.1.1 常規(guī)性能調(diào)優(yōu)一：最優(yōu)資源配置 可以進(jìn)行分配的資源如表所示： 名稱 說(shuō)明--num-executors ...
-
spark 優(yōu)化 分析方向 (Spark故障排除）第3章 Spark故障排除 3.1 故障排除一：控制reduce端緩沖大小以避免OOM 在Shuffle過(guò)程吁恍，reduce端task并不是等到map端task將其數(shù)據(jù)全部寫入...
-
Spark性能優(yōu)化參考:how-to-tune-your-apache-spark-jobs-part-1how-to-tune-your-apache-spark-jobs-part-2tu...
