22篇文章 · 29911字 · 45人關(guān)注
-
【Spark Core】從作業(yè)提交到任務(wù)調(diào)度完整生命周期淺析引言 這一小節(jié)我們將就之前寫(xiě)的幾篇博文，從提交Job襟企，到Stage劃分，到任務(wù)分發(fā)速址，再到任務(wù)的執(zhí)行辕棚，這一完整過(guò)程做一系統(tǒng)的回顧。在這一過(guò)程中理清...
-
【Spark Core】任務(wù)執(zhí)行機(jī)制和Task源碼淺析2
引言 上一小節(jié)《任務(wù)執(zhí)行機(jī)制和Task源碼淺析1》介紹了Executor的注冊(cè)過(guò)程别凹。這一小節(jié)草讶，我將從Executor端，就接收LaunchTas...
-
【Spark Core】任務(wù)執(zhí)行機(jī)制和Task源碼淺析1
引言 上一小節(jié)《TaskScheduler源碼與任務(wù)提交原理淺析2》介紹了Driver側(cè)將Stage進(jìn)行劃分炉菲，根據(jù)Executor閑置情況分發(fā)任...
-
【Spark Core】TaskScheduler源碼與任務(wù)提交原理淺析2
引言 上一節(jié)《TaskScheduler源碼與任務(wù)提交原理淺析1》介紹了TaskScheduler的創(chuàng)建過(guò)程堕战，在這一節(jié)中，我將承接《Stage生...
-
【Spark Core】TaskScheduler源碼與任務(wù)提交原理淺析1
引言 上一節(jié)《Stage生成和Stage源碼淺析》中拍霜，我介紹了Stage生成劃分到提交Stage的過(guò)程嘱丢，分析最終歸結(jié)到submitStage的遞...
-
【Spark】Stage生成和Stage源碼淺析
引入 上一篇文章《DAGScheduler源碼淺析》中，介紹了handleJobSubmitted函數(shù)祠饺，它作為生成finalStage的重要函數(shù)...
-
【Spark】DAGScheduler源碼淺析2
引入 上一篇文章DAGScheduler源碼淺析主要從提交Job的流程角度介紹了DAGScheduler源碼中的重要函數(shù)和關(guān)鍵點(diǎn)越驻，這篇DAGSc...
-
【Spark】DAGScheduler源碼淺析
DAGScheduler DAGScheduler的主要任務(wù)是基于Stage構(gòu)建DAG，決定每個(gè)任務(wù)的最佳位置 記錄哪個(gè)RDD或者Stage輸出...
-
【Spark】SparkContext源碼解讀
SparkContext的初始化 SparkContext是應(yīng)用啟動(dòng)時(shí)創(chuàng)建的Spark上下文對(duì)象道偷，是進(jìn)行Spark應(yīng)用開(kāi)發(fā)的主要接口缀旁，是Spar...
