Hadoop 1.x 時使用 JobTracker 對 MapReduce 任務(wù)進(jìn)行任務(wù)調(diào)度，但這樣導(dǎo)致一個結(jié)果州泊，部署了 JobTracker 的節(jié)點(diǎn)只能夠支持 MapReduce 類型的任務(wù)，當(dāng)需要運(yùn)行其他類型的任務(wù)時侈咕，我們只能重新搭建一個計(jì)算集群去運(yùn)行险毁。
在大數(shù)據(jù)開發(fā)的過程中，我們會使用到不同的計(jì)算框架睹酌，如 Hadoop, Spark, Flink, Storm... 如果對于每一種計(jì)算框架，我們都需要去單獨(dú)的部署計(jì)算集群剩檀，這將是極大的資源浪費(fèi)憋沿。
為了讓各種類型的任務(wù)能夠運(yùn)行在同一個計(jì)算集群上，Hadoop 2.x 引入了一個全新的 Module -- Yarn ( Yet Another Resource Manager )谨朝。
Yarn 對任務(wù)分配同具體計(jì)算邏輯進(jìn)行了解耦卤妒，對整個分布式任務(wù)做了兩種形式的抽象:
- 資源抽象 -- NodeManager 將自身節(jié)點(diǎn)的內(nèi)存和 CPU 核數(shù)信息上報給 ResourceManager 進(jìn)行統(tǒng)一管理甥绿。當(dāng)需要運(yùn)行任務(wù)時字币，在 NodeManager 中啟動擁有一定內(nèi)存和 CPU 核數(shù)的 Container 進(jìn)行進(jìn)行任務(wù)執(zhí)行。
- 任務(wù)抽象 -- Yarn 將需要運(yùn)行的分布式任務(wù)抽象為 Application共缕，放棄對任務(wù)執(zhí)行命令的介入洗出，由 Client 自定義 的AppMaster 進(jìn)行資源申請和任務(wù)執(zhí)行，從而將自身同任務(wù)本身解耦图谷，只負(fù)責(zé)資源調(diào)度翩活，和具體任務(wù)類型無關(guān)。
通過資源抽象便贵，簡化了 Yarn 管理集群資源的復(fù)雜度菠镇，將任務(wù)啟動的調(diào)度策略簡化成對各個 NodeManager 中的資源分配問題。簡單來說就是承璃，Yarn 負(fù)責(zé)為 Application 提供所需要的內(nèi)存和 CPU 資源利耍，并啟動獨(dú)立進(jìn)程運(yùn)行分布式任務(wù)，但并不關(guān)心分布式任務(wù)的具體操作。
通過任務(wù)抽象隘梨，擴(kuò)展了 Yarn 的使用場景程癌，將 Yarn 從單一的 MapReduce 任務(wù)調(diào)度系統(tǒng)擴(kuò)展成一個通用的任務(wù)調(diào)度程序。不同的使用場景下轴猎，只需要實(shí)現(xiàn)自己特定的 YarnApplication 即可運(yùn)行分布式任務(wù)嵌莉。常用的一些大數(shù)據(jù)處理程序例如 Spark , Flink 等都支持通過 Yarn 上進(jìn)行任務(wù)調(diào)度。
Yarn 的組件構(gòu)成
Yarn 由三個組件構(gòu)成:
- ResourceManager(RM) 負(fù)責(zé)管理和調(diào)度整個 Yarn 集群的預(yù)算資源捻脖，同時使用和 Hdfs 中 NameNode 相同的代碼锐峭，基于 ZooKeeper 實(shí)現(xiàn) ActiveStandby 的高可用邏輯。
- NodeManager(NM) 部署在各個任務(wù)執(zhí)行節(jié)點(diǎn)上郎仆，負(fù)責(zé)節(jié)點(diǎn)生命狀態(tài)的上報以及具體任務(wù)的運(yùn)行只祠。
- YarnClient(Client) 用戶創(chuàng)建 YarnApplication 后，通過 YarnClient 提交給 RM 進(jìn)行任務(wù)調(diào)度執(zhí)行扰肌。
下文中三個組件的名稱將會簡寫為 RM, NM 和 Client抛寝。
Yarn 作業(yè)類型
之前有說過 Yarn 為了提高整個框架的通用性，將需要執(zhí)行的分布式任務(wù)抽象為 Application曙旭，同時引入 AppMaster 機(jī)制令 Yarn 同任務(wù)操作本身解耦盗舰。
Yarn 中的作業(yè)類型分為兩類:
- 普通任務(wù)類型: 分布式任務(wù)的具體執(zhí)行者，當(dāng)從 RM 中申請到任務(wù)資源后桂躏，會在 NM 單獨(dú)啟動的 Container 中運(yùn)行钻趋，負(fù)責(zé)執(zhí)行指定的計(jì)算任務(wù)。
- AppMaster: 分布式任務(wù)的協(xié)調(diào)者剂习，每個 YarnApplication 提交到 RM 后蛮位，都會唯一的啟動一個 AppMaster，負(fù)責(zé)具體組織整個分布式任務(wù)鳞绕，從 RM 中申請任務(wù)資源失仁，并協(xié)調(diào)其他任務(wù)正常運(yùn)行。
AppMaster 中的協(xié)調(diào)代碼是由提交的 YarnApplication 中定義的们何，當(dāng)分布式任務(wù)開始執(zhí)行時萄焦，通過不同的協(xié)調(diào)代碼可以實(shí)現(xiàn)不同的任務(wù)類型，實(shí)現(xiàn)分布式任務(wù)的多樣化冤竹。同時 AppMaster 和普通任務(wù)類型一樣拂封，運(yùn)行在 NM 節(jié)點(diǎn)中的 Container 中，它的協(xié)調(diào)過程是在 NM 節(jié)點(diǎn)上產(chǎn)生的鹦蠕，實(shí)現(xiàn)了不同 Application 資源的物理隔離冒签，使得在邏輯上單個 Application 不會對其他 Application 構(gòu)成影響。
總結(jié)
Yarn 同上一代的 JobTracker 相比钟病，主要特點(diǎn)是將計(jì)算邏輯同資源分配解耦萧恕。自身只關(guān)注對任務(wù)所需要的資源進(jìn)行分配霜定，具體的計(jì)算邏輯和資源請求計(jì)算交給 Application 自身完成。
剝離出計(jì)算邏輯后廊鸥，Yarn 的職責(zé)更加單一望浩，其他的計(jì)算框架也可以通過實(shí)現(xiàn) YarnApplication 完成自己的分布式計(jì)算任務(wù)，使得所有類型的任務(wù)都可以在同一個計(jì)算集群中進(jìn)行惰说，提升對整個計(jì)算集群資源的利用效率磨德。
