發(fā)簡信
IP屬地：廣東
-
hadoop常見的面試題一不同、hdfs上傳和下載文件流程 hdfs上傳 客戶端向namenode發(fā)出請求建立通信獲得存儲文件塊的datanode節(jié)點,然后客戶端將文件按照...
-
hadoop設(shè)計原理一醉拓、hadoop概念 Hadoop由兩部分組成蕾总，一是負責(zé)存儲與管理文件的分布式文件系統(tǒng)HDFS囤屹、二是負責(zé)處理與計算的MapReduce的計算框架...
-
DAGScheduler源碼分析(stage劃分算法)
DAGScheduler的stage劃分算法總結(jié):會從觸發(fā)action操作的那個rdd開始反向解析,首先會為最后一個rdd創(chuàng)建一個stage,反...
-
Spark性能優(yōu)化之shuffle性能優(yōu)化1.沒有開啟consolidation機制的性能低下的原理剖析 2.開啟consolidation機制的性能低下的原理剖析 new SparkC...
-
Spark性能優(yōu)化之數(shù)據(jù)本地化
一、數(shù)據(jù)本地化背景 數(shù)據(jù)本地化對于Spark job性能有著巨大的影響付魔。如果數(shù)據(jù)以及要計算它的代碼一起的,那么性能當然非常高聊品，但是，如果數(shù)據(jù)和計...
-
Spark性能優(yōu)化之提高并行度實際上Spark集群的資源并不一定會被充分利用到几苍，所以要盡量設(shè)置合理的并行度翻屈，來充分地利用集群的資源。才能充分提高Spark應(yīng)用程序的性能妻坝。 S...
-
Spark性能優(yōu)化之Java虛擬機垃圾回收調(diào)優(yōu)一伸眶、Java虛擬機垃圾回收調(diào)優(yōu)的背景 如果在持久化RDD的時候,持久化了大量數(shù)據(jù)，那么Java虛擬機的垃圾回收就可能成為一個性能瓶頸刽宪。因此Jav...
-
Spark性能優(yōu)化之RDD持久化或Checkpoint1.使用序列化的持久化級別 除了對多次使用的RDD進行持久化操作之外厘贼，還可以進一步優(yōu)化其性能。因為很有可能圣拄，RDD的數(shù)據(jù)是持久化到內(nèi)存涂臣，或者磁盤...
-
Spark性能優(yōu)化之優(yōu)化數(shù)據(jù)結(jié)構(gòu)
一、前言 其實主要就是優(yōu)化算子函數(shù),內(nèi)部使用到局部數(shù)據(jù),或是算子函數(shù)外部數(shù)據(jù)售担，都可以進行數(shù)據(jù)結(jié)構(gòu)優(yōu)化,優(yōu)化之后,都會減少其對內(nèi)存的消耗和占用赁遗。 ...