前一段時(shí)間自己開(kāi)發(fā)了一套基于Yarn的容器調(diào)度系統(tǒng)刀崖，這篇文章就是分享其中的一些經(jīng)驗(yàn)抄腔。
前言
這篇文章不會(huì)具體教你如何使用Yarn的API,但是會(huì)教你我實(shí)踐過(guò)后的一些經(jīng)驗(yàn)蜀撑。接下來(lái)的內(nèi)容會(huì)探討以下兩個(gè)主題：
- 基于Yarn開(kāi)發(fā)分布式程序需要做的一些準(zhǔn)備工作
- 基于Yarn開(kāi)發(fā)容器調(diào)度系統(tǒng)的一些基本思路
基于Yarn開(kāi)發(fā)分布式程序需要做的一些準(zhǔn)備工作
肯定不能擼起袖子就開(kāi)始干村怪。你思考代碼組織，那么你會(huì)是一個(gè)好的工程師冀膝。如果你開(kāi)始思考系統(tǒng)分層結(jié)構(gòu)唁奢，你會(huì)是一個(gè)好的架構(gòu)師。當(dāng)然窝剖，最好是都要思考一下啦麻掸。
*** Yarn 原生的API太底層，太復(fù)雜了 ***
如果你想愉快的開(kāi)發(fā)Yarn的應(yīng)用赐纱，那么對(duì)Yarn的API進(jìn)行一次封裝脊奋，是很有必要的。 Yarn為了靈活疙描，或者為了能夠滿足開(kāi)發(fā)者大部分的需求诚隙，底層交互的API就顯得比較原始了。自然造成開(kāi)發(fā)難度很大起胰。這個(gè)也不是我一個(gè)人覺(jué)得久又，現(xiàn)在Apache的twill,以及Hulu他們開(kāi)發(fā)的時(shí)候Adaptor那一層，其實(shí)都是為了解決這個(gè)問(wèn)題。那為什么我沒(méi)有用Twill呢籽孙，第一是文檔實(shí)在太少烈评，第二是有點(diǎn)復(fù)雜火俄，我不需要這么復(fù)雜的東西犯建。我覺(jué)得，Twill與其開(kāi)發(fā)這么多功能瓜客，真的不如好好寫(xiě)寫(xiě)文檔适瓦。
*** 最好是能開(kāi)發(fā)一個(gè)解決一類問(wèn)題的Framework ***
Yarn只是一個(gè)底層的資源管理和調(diào)度引擎。一般你需要基于之上開(kāi)發(fā)一套解決特定問(wèn)題的Framework谱仪。以Spark為例玻熙，他是解決分布式計(jì)算相關(guān)的一些問(wèn)題。而以我開(kāi)發(fā)的容器調(diào)度程序疯攒，其實(shí)是為了解決動(dòng)態(tài)部署Web應(yīng)用的嗦随。在他們之上，才是你的應(yīng)用敬尺。比如你要統(tǒng)計(jì)日志枚尼，你只要在Spark上開(kāi)發(fā)一個(gè)Application 。 比如你想要提供一個(gè)推薦系統(tǒng)砂吞，那么你只要用容器包裝下署恍，就能被容器調(diào)度程序調(diào)度部署。
所以通常而言蜻直，基于Yarn的分布式應(yīng)用應(yīng)該符合這么一個(gè)層次
Yarn -> Adapter -> Framework -> Application
Adapter 就是我第一條說(shuō)的盯质，你自個(gè)封裝了Yarn的API。 Framework就是解決一類問(wèn)題的編程框架概而，Application才是你真正要解決業(yè)務(wù)的系統(tǒng)呼巷。通過(guò)這種解耦，各個(gè)層次只要關(guān)注自己的核心功能點(diǎn)即可赎瑰。
*** 保證你上層的Framework/Application可以移植 ***
Spark是個(gè)典型,他可以跑在Mesos上王悍，也可以跑在Yarn上 ,還可以跑在自己上面(standalone)，就是因?yàn)镾park的Framework不依賴于底層的Core,這個(gè)Core其實(shí)就是各個(gè)資源調(diào)度服務(wù)的適配層乡范。我封裝了Yarn后配名，上層的Framework是看不到的Yarn的API的,直接依賴YarnAdaptor，如果需要晋辆，我可以再開(kāi)發(fā)一套Mesos Adaptor渠脉。
這其實(shí)是上面兩條帶來(lái)的好處，因?yàn)橛辛薃daptor,上層的Framework可以不用綁死在某個(gè)資源調(diào)度引擎上瓶佳。而Framework則可以讓Applicaiton 無(wú)需關(guān)注底層調(diào)度的事情芋膘，只要關(guān)注業(yè)務(wù)即可。
另外，你費(fèi)盡心機(jī)開(kāi)發(fā)的Framework上为朋，你自然是希望它能跑在更多的平臺(tái)上臂拓，已滿足更多的人的需求，對(duì)吧习寸。
基于Yarn開(kāi)發(fā)容器調(diào)度系統(tǒng)的一些基本思路
首先我們需要了解兩個(gè)概念：
啞應(yīng)用胶惰，所謂啞應(yīng)用指的是無(wú)法和分布式系統(tǒng)直接進(jìn)行交互，分布式系統(tǒng)也僅僅透過(guò)容器能進(jìn)行生命周期的控制霞溪，比如關(guān)閉或者開(kāi)啟的應(yīng)用孵滞。典型的比如MySQL,Nginx等這些基礎(chǔ)應(yīng)用。他們一般有自己特有的交互方式鸯匹，譬如命令行或者socket協(xié)議或者HTTP協(xié)議坊饶。
伴生組件，因?yàn)橛辛藛?yīng)用的存在殴蓬，分布式系統(tǒng)為了能夠和這些應(yīng)用交互匿级，需要有一個(gè)代理。而這個(gè)代理和被代理的啞應(yīng)用染厅，具有相同的生命周期痘绎。典型的比如，某個(gè)服務(wù)被關(guān)停后糟秘，該事件會(huì)被分布式系統(tǒng)獲知简逮，分布式系統(tǒng)會(huì)將該事件發(fā)送給Nginx的伴生組件，伴生組件轉(zhuǎn)化為Nginx能夠識(shí)別的指令尿赚，將停止的服務(wù)從Nginx的ProxyBackend列表中剔除散庶。
在容器調(diào)度系統(tǒng)中，如果Yarn的NodeManager 直接去管理Docker則需要Yarn本身去做支持凌净，我覺(jué)得這是不妥的悲龟。Yarn的職責(zé)就是做好資源管理，分配冰寻，調(diào)度即可须教，并不需要和特定的某個(gè)技術(shù)耦合，畢竟Yarn是一個(gè)通用型的資源調(diào)度管理框架斩芭。我們只要開(kāi)發(fā)一套Framework,這個(gè)framework的slave節(jié)點(diǎn)其實(shí)是對(duì)應(yīng)容器的一個(gè)伴生對(duì)象轻腺，這樣我們就能透過(guò)這個(gè)framework對(duì)容器進(jìn)行管理，并且該framework還銜接了容器和Yarn划乖。 我們簡(jiǎn)單描述下他們的流程
- 用戶提交Application,申請(qǐng)資源
- Yarn 啟動(dòng)Framework 的master
- Yarn啟動(dòng)Framework 的 slave
- slave 連接上master,并且發(fā)送心跳贬养，從而master知道slave的狀況
- slave 啟動(dòng) docker，slave 與被啟動(dòng)的這個(gè)docker container 一一對(duì)應(yīng)
- slave 定時(shí)監(jiān)控container
- slave發(fā)現(xiàn)container crash,slave 自動(dòng)退出琴庵，yarn獲得通知误算，收回資源
- master 發(fā)現(xiàn)有節(jié)點(diǎn)失敗仰美，發(fā)出新的節(jié)點(diǎn)要求，重新在另外一臺(tái)服務(wù)器上啟動(dòng)slave,重復(fù)從2開(kāi)始的步驟
這里還有一個(gè)問(wèn)題儿礼，如果slave 被正常殺掉咖杂，可以通過(guò)JVM ShudownHook 順帶把container也關(guān)掉。 但是如果slave被kill -9 或者異常crash掉了蚊夫，那么就可能導(dǎo)致資源泄露了诉字。目前是這個(gè)信息是由master上報(bào)給集群管理平臺(tái)，該平臺(tái)會(huì)定時(shí)清理这橙。你也可以存儲(chǔ)該信息奏窑，譬如放到Redis或者M(jìn)ySQL中导披，然后啟動(dòng)后臺(tái)清理任務(wù)即可屈扎。
了解了這個(gè)思路后，具體實(shí)施就變得簡(jiǎn)單了,就是開(kāi)發(fā)一個(gè)基于Yarn的master-slave 程序即可撩匕，然后slave去管理對(duì)應(yīng)的docker容器鹰晨，包括接受新的指令。master提供管理界面展示容器信息止毕，運(yùn)行狀態(tài)即可模蜡。
當(dāng)然，你還可以再開(kāi)發(fā)一套Framework B 專門和Nginx交互扁凛，這樣比如上面的系統(tǒng)做了節(jié)點(diǎn)變更忍疾，通知B的master，然后B的master 通過(guò)自己的伴生組件Slave 完成Nginx的更新谨朝，從而實(shí)現(xiàn)后端服務(wù)的自動(dòng)變更和通知卤妒。
現(xiàn)在看來(lái)，是不是這種概念完美的覆蓋了應(yīng)用之間的交互呢字币？
