spark相關(guān)術(shù)語(yǔ)
Application
指的是用戶編寫(xiě)的Spark應(yīng)用程序，包含了一個(gè)Driver 功能的代碼和分布在集群中多個(gè)節(jié)點(diǎn)上運(yùn)行的Executor代碼；Driver
Spark中的Driver即運(yùn)行上述Application的main()函數(shù)并且創(chuàng)建SparkContext倚搬，其中創(chuàng)建SparkContext的目的是為了準(zhǔn)備Spark應(yīng)用程序的運(yùn)行環(huán)境每界。在Spark中由SparkContext負(fù)責(zé)和ClusterManager通信，進(jìn)行資源的申請(qǐng)庙楚、任務(wù)的分配和監(jiān)控等趴樱；當(dāng)Executor部分運(yùn)行完畢后，Driver負(fù)責(zé)將SparkContext關(guān)閉纳账。通常用SparkContext代表Driver捺疼；Executor
Application運(yùn)行在Worker 節(jié)點(diǎn)上的一個(gè)進(jìn)程，該進(jìn)程負(fù)責(zé)運(yùn)行Task卧秘，并且負(fù)責(zé)將數(shù)據(jù)存在內(nèi)存或者磁盤(pán)上官扣，每個(gè)Application都有各自獨(dú)立的一批Executor哼御。Cluster Manager
指的是在集群上獲取資源的外部服務(wù)焊唬，目前有3種方式Worker
集群中任何可以運(yùn)行Application代碼的節(jié)點(diǎn)赶促。Job
包含多個(gè)Task組成的并行計(jì)算，往往由Spark Action催生鸥滨，一個(gè)JOB包含多個(gè)RDD及作用于相應(yīng)RDD上的各種Operation；stage
每個(gè)Job會(huì)被拆分很多組Task老速，每組任務(wù)被稱為Stage橘券，也可稱TaskSet，一個(gè)作業(yè)分為多個(gè)階段锋华；-
Task
被送到某個(gè)Executor上的工作任務(wù)箭窜；
111609254102564.gif
Spark集群模式架構(gòu)
上圖中磺樱，Spark集群Cluster Manager目前支持如下三種模式：
1.Standalone模式
Standalone模式是Spark內(nèi)部默認(rèn)實(shí)現(xiàn)的一種集群管理模式，這種模式是通過(guò)集群中的Master來(lái)統(tǒng)一管理資源续担，而與Master進(jìn)行資源請(qǐng)求協(xié)商的是Driver內(nèi)部的StandaloneSchedulerBackend（實(shí)際上是其內(nèi)部的StandaloneAppClient真正與Master通信）活孩，后面會(huì)詳細(xì)說(shuō)明憾儒。
2.YARN模式
YARN模式下，可以將資源的管理統(tǒng)一交給YARN集群的ResourceManager去管理诗舰，選擇這種模式训裆，可以更大限度的適應(yīng)企業(yè)內(nèi)部已有的技術(shù)棧，如果企業(yè)內(nèi)部已經(jīng)在使用Hadoop技術(shù)構(gòu)建大數(shù)據(jù)處理平臺(tái)属百。
3.Mesos模式
隨著Apache Mesos的不斷成熟变姨，一些企業(yè)已經(jīng)在嘗試使用Mesos構(gòu)建數(shù)據(jù)中心的操作系統(tǒng)（DCOS），Spark構(gòu)建在Mesos之上渔呵，能夠支持細(xì)粒度、粗粒度的資源調(diào)度策略（Mesos的優(yōu)勢(shì)）耕驰，也可以更好地適應(yīng)企業(yè)內(nèi)部已有技術(shù)棧录豺。
1.基于standalone模式下的spark架構(gòu)
1.1 角色介紹
- Client：客戶端進(jìn)程巩检，負(fù)責(zé)提交作業(yè)到Master示启。
- Master：Standalone模式中主控節(jié)點(diǎn)，負(fù)責(zé)接收Client提交的作業(yè)迟螺，管理Worker舍咖，并命令Worker啟動(dòng)Driver和Executor。
- Worker：Standalone模式中slave節(jié)點(diǎn)上的守護(hù)進(jìn)程窍株，負(fù)責(zé)管理本節(jié)點(diǎn)的資源攻柠，定期向Master匯報(bào)心跳瑰钮，接收Master的命令，啟動(dòng)Driver和Executor开睡。
- Driver： 一個(gè)Spark作業(yè)運(yùn)行時(shí)包括一個(gè)Driver進(jìn)程苟耻，也是作業(yè)的主進(jìn)程，負(fù)責(zé)作業(yè)的解析婚度、生成Stage并調(diào)度Task到Executor上。包括DAGScheduler醋虏，TaskScheduler哮翘。
- Executor：即真正執(zhí)行作業(yè)的地方，一個(gè)集群一般包含多個(gè)Executor阻课，每個(gè)Executor接收Driver的命令Launch Task艰匙，一個(gè)Executor可以執(zhí)行一到多個(gè)Task员凝。
1.2作業(yè)相關(guān)的名詞
- Stage：一個(gè)Spark作業(yè)一般包含一到多個(gè)Stage。
- Task：一個(gè)Stage包含一到多個(gè)Task旺上，通過(guò)多個(gè)Task實(shí)現(xiàn)并行運(yùn)行的功能糖埋。
- DAGScheduler： 實(shí)現(xiàn)將Spark作業(yè)分解成一到多個(gè)Stage，每個(gè)Stage根據(jù)RDD的Partition個(gè)數(shù)決定Task的個(gè)數(shù)征候，然后生成相應(yīng)的Task set放到TaskScheduler中倍奢。
- TaskScheduler：實(shí)現(xiàn)Task分配到Executor上執(zhí)行垒棋。
1.3 提交作業(yè)的方式
提交作業(yè)有兩種方式分別是：
- Driver運(yùn)行在Worker上（作業(yè)的master，負(fù)責(zé)作業(yè)的解析畔裕、生成stage并調(diào)度task到乖订，包含DAGScheduler）
- Driver運(yùn)行在client上 。
方式1：Driver運(yùn)行在Worker上
方式2：Driver運(yùn)行在Client上
