發(fā)簡信
IP屬地：重慶
-
RoketMQ日志原理
RoketMQ日志代碼所在的子工程為rocketmq-logging殷勘，該子工程完成以下幾個功能 rocketmq實現(xiàn)了一套簡易的內(nèi)部日志接口薄风，通...
-
YARN中的搶占機(jī)制
關(guān)于搶占機(jī)制的說明及其源碼分析https://blog.csdn.net/zhanyuanlin/article/details/7151628...
-
FairScheduler中Fair Share計算方法
本文調(diào)度算法所采用的策略是fair策略，即公平調(diào)度算法竹观，另外為簡單起見本文只考慮了一個資源即memory. Schedulable接口 調(diào)度器調(diào)...
-
FairScheduler中Queue管理FairScheduler的資源分配第一層調(diào)度的對象是FSQueue镐捧，即資源的分配都是在隊列中完成的。隊列抽象類FSQueue包含F(xiàn)SParen...
-
YARN中的資源預(yù)約機(jī)制
概念 YARN的資源預(yù)約機(jī)制是一種資源保證機(jī)制臭增，當(dāng)應(yīng)用程序申請的資源無法得到滿足的時候懂酱，YARN會將當(dāng)前的資源預(yù)約到一個node上，未來只要有一...
-
FifoScheduler分配容器的過程
FifoScheduler相對FairScheduler來說很簡單了誊抛，先從這個入手窺探Y(jié)ARN容器分配的基本過程列牺。FifoScheduler只包...
-
Hadoop YARN資源調(diào)度中的relaxLocality屬性
YARN中的資源請求主要是指ApplicationMaster通過AMRMClientImpl向ResourceManager發(fā)起的容器請求。r...
-
Hadoop機(jī)架感知
Hadoop提供了機(jī)架（rack）的概念拗窃，Hadoop集群上面的一個node屬于哪一個rack瞎领，rack信息由網(wǎng)絡(luò)管理員配置泌辫。Hadoop提供機(jī)...
-
YARN中NodeManager資源下載的過程
ApplicationMaster提交startContianers的請求給NodeManager之后，NodeManager很重要的一個步驟是...