我們寫spark應(yīng)用程序的時(shí)候，第一步都是創(chuàng)建一個(gè)SparkContext校坑，SparkContext初始化時(shí)主要是初始化TaskScheduler拣技、DAGScheduler、SparkUI
TaskScheduler初始化流程
以下是對(duì)應(yīng)上圖的源碼
一耍目、入口是createTaskScheduler膏斤，從代碼注釋可以看出，主要是根據(jù)SparkConf中設(shè)置的"master"來(lái)創(chuàng)建TaskSchedulerImpl和SparkDeploySchedulerBackend邪驮；
這個(gè)是stand-alone模式莫辨，當(dāng)然還有其他模式
TaskSchedulerImpl：
1、底層通過(guò)操作一個(gè)SchedulerBackend，針對(duì)不同種類的cluster(standalone,yarn,mesos)沮榜，調(diào)度task
2盘榨、可以通過(guò)使用一個(gè)LocalBackend，并且將isLocal參數(shù)設(shè)置為true蟆融，來(lái)在本地模式下工作
3、負(fù)責(zé)處理一些通用的邏輯型酥，比如說(shuō)山憨，決定多個(gè)job的調(diào)度順序，啟動(dòng)推測(cè)任務(wù)執(zhí)行
4、客戶端應(yīng)用首先調(diào)用它的initialize()方法和start()棚亩，然后通過(guò)runTasks()方法提交task sets
通過(guò)TaskSchelulerImpl的initialize()初始化創(chuàng)建SchedulerPool
二：TaskSchedulerImpl.start() -> SparkDeploySchedulerBackend.start()
三：通過(guò)ApplicationDescription創(chuàng)建AppClient
ApplicationDescription：
1、描述當(dāng)前執(zhí)行的application的一些情況从撼，包括applicaiton最大需要多少cpu core州弟，每個(gè)slave上需要多少內(nèi)存
AppClient:
1、是一個(gè)接口
2低零、負(fù)責(zé)為application與spark集群進(jìn)行同行
3婆翔、會(huì)接收spark master的url，以及一個(gè)applicationDescription掏婶，和一個(gè)集群事件的監(jiān)聽器啃奴，以及各種事件發(fā)生時(shí)的監(jiān)聽器回調(diào)
DAGScheduler
DAGScheduler:
1、實(shí)現(xiàn)了面向stage的調(diào)度機(jī)制的高層次的調(diào)度層雄妥，它會(huì)為每個(gè)job計(jì)算一個(gè)stage的DAG（有向無(wú)環(huán)圖）最蕾，追蹤RDD和stage的輸出是否被物化了（物化是指，寫入磁盤或者內(nèi)存等地方）老厌，并且尋找一個(gè)最少消耗（最優(yōu)）調(diào)度機(jī)制來(lái)運(yùn)行job瘟则；
2、會(huì)將stage作為tasksets提交到底層的TaskSchedulerImpl上枝秤，并在集群上運(yùn)行他們（task）
3醋拧、負(fù)責(zé)決定運(yùn)行每個(gè)task的最佳位置，基于當(dāng)前的緩存狀態(tài)，將這些最佳位置提交給底層的TaskSchedulerImpl丹壕。
4庆械、處理由于shuffle輸出文件丟失導(dǎo)致的失敗，在這種情況下菌赖，舊的stage可能就會(huì)被重新提交干奢，一個(gè)stage內(nèi)部的失敗，如果不是由于shuffle文件丟失所導(dǎo)致的盏袄，會(huì)被TaskScheduler處理忿峻，它會(huì)多次重試每一個(gè)task，直到最后辕羽，實(shí)在不行了逛尚，才會(huì)去取消整個(gè)stage
SparkUI
注：本文的分析是基于以下spark-core版本
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.3.0</version>
</dependency>
