Spark 運行模式分類

• 本地模式飞袋；
• standalone模式暮蹂；
• spark on yarn 模式粹断，又分未yarn-client和yarn-cluster；
• spark on mesos 模式（暫時沒有了解）

本地模式-local

Spark不一定非要跑在hadoop集群所刀，可以在本地衙荐，起多個線程的方式來指定。將Spark應(yīng)用以多線程的方式直接運行在本地浮创，一般都是為了方便調(diào)試忧吟，本地模式分三類

• local：只啟動一個executor
• local[k]:啟動k個executor
• local[*]：啟動跟cpu數(shù)目相同的executor

注意：
Spark單機運行，一般用于開發(fā)測試斩披。

• Local模式又稱為本地模式溜族，運行該模式非常簡單讹俊，只需要把Spark的安裝包解壓后，改一些常用的配置即可使用煌抒，而不用啟動Spark的Master仍劈、Worker守護進程( 只有集群的Standalone方式時，才需要這兩個角色)寡壮，也不用啟動Hadoop的各服務(wù)（除非你要用到HDFS）贩疙，這是和其他模式的區(qū)別 。
• 這個SparkSubmit進程又當?shù)黾取⒂之攱屨饨Γ仁强蛻籼峤蝗蝿?wù)的Client進程、又是Spark的driver程序坏挠、還充當著Spark執(zhí)行Task的Executor角色芍躏。

standalone模式

• 構(gòu)建一個由Master+Slave構(gòu)成的Spark集群，Spark運行在集群中降狠。 分布式部署集群对竣，自帶完整的服務(wù)，資源管理和任務(wù)監(jiān)控是Spark自己監(jiān)控榜配，這個模式也是其他模式的基礎(chǔ)否纬。

• 和單機運行的模式不同，這里必須在執(zhí)行應(yīng)用程序前蛋褥，先啟動Spark的Master和Worker守護進程临燃。不用啟動Hadoop服務(wù)，除非你用到了HDFS的內(nèi)容 烙心；

  
  
  spark-standalone模式.png
• standalone模式角色說明
  • Master進程做為cluster manager膜廊，用來對應(yīng)用程序申請的資源進行管理；
  • SparkSubmit 做為Client端和運行driver程序淫茵；
  • CoarseGrainedExecutorBackend 用來并發(fā)執(zhí)行應(yīng)用程序爪瓜；
• Driver運行的位置
  • Standalone模式是Spark實現(xiàn)的資源調(diào)度框架，其主要的節(jié)點有Client節(jié)點匙瘪、Master節(jié)點和Worker節(jié)點铆铆。其中Driver既可以運行在Master節(jié)點上中，也可以運行在本地Client端丹喻。
  • 當用spark-shell交互式工具提交Spark的Job時薄货，Driver在Master節(jié)點上運行；
  • 當使用spark-submit工具提交Job或者在Eclips碍论、IDEA等開發(fā)平臺上使用”new SparkConf.setManager(“spark://master:7077”)”方式運行Spark任務(wù)時谅猾，Driver是運行在本地Client端上的。
• standalone運行流程
  • 1.SparkContext連接到Master鳍悠，向Master注冊并申請資源（CPU Core 和Memory）赊瞬；
  • 2.Master根據(jù)SparkContext的資源申請要求和Worker心跳周期內(nèi)報告的信息決定在哪個Worker上分配資源先煎，然后在該Worker上獲取資源，然后啟動StandaloneExecutorBackend巧涧；
  • 3.StandaloneExecutorBackend向SparkContext注冊薯蝎；
  • 4.SparkContext將Applicaiton代碼發(fā)送給StandaloneExecutorBackend；并且SparkContext解析Applicaiton代碼谤绳，構(gòu)建DAG圖占锯，并提交給DAG Scheduler分解成Stage（當碰到Action操作時，就會催生Job缩筛；每個Job中含有1個或多個Stage消略，Stage一般在獲取外部數(shù)據(jù)和shuffle之前產(chǎn)生），DAG Scheduler將TaskSet提交給Task Scheduler瞎抛，Task Scheduler負責將Task分配到相應(yīng)的Worker艺演，最后提交給StandaloneExecutorBackend執(zhí)行；
  • 5.StandaloneExecutorBackend會建立Executor線程池桐臊，開始執(zhí)行Task胎撤，并向SparkContext報告，直至Task完成断凶。
  • 6.所有Task完成后伤提，SparkContext向Master注銷，釋放資源认烁。

Spark on Yarn模式

Spark客戶端直接連接Yarn肿男。不需要額外構(gòu)建Spark集群。 分布式部署集群却嗡，資源和任務(wù)監(jiān)控交給yarn管理舶沛，但是目前僅支持粗粒度資源分配方式，包含cluster和client運行模式窗价，cluster適合生產(chǎn)如庭，driver運行在集群子節(jié)點，具有容錯功能舌镶，client適合調(diào)試，dirver運行在客戶端豪娜。

Spark on yarn client模式

Spark-yarn-client.png

• Driver運行位置
  • Driver 在本地運行餐胀，并沒有在nodemanager上，在nodemanager上啟動的applicationMaster僅僅是一個ExecutorLanucher瘤载，功能十分有限否灾。
• 運行流程
  • (1).Spark Yarn Client向YARN的ResourceManager發(fā)送請求，申請啟動Application Master鸣奔。同時在SparkContext初始化中將創(chuàng)建DAGScheduler和TASKScheduler等墨技，由于我們選擇的是Yarn-Client模式惩阶，程序會選擇YarnClientClusterScheduler和YarnClientSchedulerBackend喇闸；
  • (2).ResourceManager收到請求后愉粤，在集群中選擇一個NodeManager，為該應(yīng)用程序分配第一個Container褥紫，要求它在這個Container中啟動應(yīng)用程序的ApplicationMaster（實際啟動的是ExecutorLanucher崭别，功能十分有限）冬筒，與YARN-Cluster區(qū)別的是在該ApplicationMaster不運行SparkContext，只與SparkContext進行聯(lián)系進行資源的分派的ExecutorLanucher茅主；
  • (3).Client中的SparkContext初始化完畢后舞痰，與ApplicationMaster建立通訊，向ResourceManager注冊诀姚，根據(jù)任務(wù)信息向ResourceManager申請資源（Container）响牛；
  • (4).一旦ApplicationMaster申請到資源（也就是Container）后，便與對應(yīng)的NodeManager通信赫段，要求它在獲得的Container中啟動啟動CoarseGrainedExecutorBackend呀打，CoarseGrainedExecutorBackend啟動后會向Client中的SparkContext注冊并申請Task；
  • (5).Client中的SparkContext分配Task給CoarseGrainedExecutorBackend執(zhí)行瑞佩，CoarseGrainedExecutorBackend運行Task并向Driver匯報運行的狀態(tài)和進度聚磺，以讓Client隨時掌握各個任務(wù)的運行狀態(tài)，從而可以在任務(wù)失敗時重新啟動任務(wù)炬丸；
  • (6).應(yīng)用程序運行完成后瘫寝，Client的SparkContext向ResourceManager申請注銷并關(guān)閉自己；

spark on yarn cluster模式

Spark-yarn-cluster.png

• Driver 運行位置
  • Driver運行在nodemanager上
• 運行流程
  • (1). Spark Yarn Client向YARN中resourcemanager提交應(yīng)用程序稠炬，包括ApplicationMaster程序焕阿、啟動ApplicationMaster的命令、需要在Executor中運行的程序等首启；
  • (2). ResourceManager收到請求后暮屡，在集群中選擇一個NodeManager，為該應(yīng)用程序分配第一個Container毅桃，要求它在這個Container中啟動應(yīng)用程序的ApplicationMaster(相當于Driver客戶端)褒纲，其中ApplicationMaster進行SparkContext等的初始化；
  • (3). ApplicationMaster向ResourceManager注冊钥飞，這樣用戶可以直接通過ResourceManage查看應(yīng)用程序的運行狀態(tài)莺掠，然后它將采用輪詢的方式通過RPC協(xié)議為各個任務(wù)申請資源，并監(jiān)控它們的運行狀態(tài)直到運行結(jié)束读宙；
  • (4). 一旦ApplicationMaster申請到資源（也就是Container）后彻秆，便與對應(yīng)的NodeManager通信，要求它在獲得的Container中啟動啟動CoarseGrainedExecutorBackend，CoarseGrainedExecutorBackend啟動后會向ApplicationMaster中的SparkContext注冊并申請Task唇兑。這一點和Standalone模式一樣酒朵，只不過SparkContext在Spark Application中初始化時，使用CoarseGrainedSchedulerBackend配合YarnClusterScheduler進行任務(wù)的調(diào)度扎附，其中YarnClusterScheduler只是對TaskSchedulerImpl的一個簡單包裝蔫耽，增加了對Executor的等待邏輯等；
  • (5). ApplicationMaster中的SparkContext分配Task給CoarseGrainedExecutorBackend執(zhí)行帕棉，CoarseGrainedExecutorBackend運行Task并向ApplicationMaster匯報運行的狀態(tài)和進度针肥，以讓ApplicationMaster隨時掌握各個任務(wù)的運行狀態(tài)，從而可以在任務(wù)失敗時重新啟動任務(wù)香伴；
  • (6). 應(yīng)用程序運行完成后慰枕，ApplicationMaster向ResourceManager申請注銷并關(guān)閉自己。

Spark on yarn client與Spark on yarn Cluster之間的區(qū)別

• yarn-client：
  • 用于測試即纲，因為driver運行在本地客戶端具帮，負責調(diào)度application，會與yarn集群產(chǎn)生超大量的網(wǎng)絡(luò)通信低斋。好處是直接執(zhí)行時蜂厅，本地可以看到所有的log，方便調(diào)試膊畴。
  • Application Master僅僅向YARN請求Executor掘猿，Client會和請求的Container通信來調(diào)度他們工作，也就是說Client不能離開唇跨。
• yarn-cluster：
  • 生產(chǎn)環(huán)境使用稠通， 因為driver運行在nodemanager上，缺點在于調(diào)試不方便买猖，本地用spark-submit提價以后改橘，看不到log，只能通過yarn application-logs application_id這種命令查看玉控，很麻煩
  • Driver運行在AM(Application Master)中飞主，它負責向YARN申請資源，并監(jiān)督作業(yè)的運行狀況高诺。當用戶提交了作業(yè)之后碌识，就可以關(guān)掉Client，作業(yè)會繼續(xù)在YARN上運行虱而，因而YARN-Cluster模式不適合運行交互類型的作業(yè)筏餐；
• 總結(jié)
  • 理解YARN-Client和YARN-Cluster深層次的區(qū)別之前先清楚一個概念：Application Master。在YARN中薛窥，每個Application實例都有一個ApplicationMaster進程胖烛，它是Application啟動的第一個容器。它負責和ResourceManager打交道并請求資源诅迷，獲取資源之后告訴NodeManager為其啟動Container佩番。從深層次的含義講YARN-Cluster和YARN-Client模式的區(qū)別其實就是ApplicationMaster進程的區(qū)別。