本文基于hbase-1.3.0源碼

1. HMaster啟動

HMaster繼承了HRegionServer赚楚，實現(xiàn)了MasterServices。

1. HMaster繼承了HRegionSever,前文提到HRegionServer初始化后通過run()方法完成HRegionServer提供的各類服務(wù)的啟動旨指，但是HMaster重寫了run()方法，不再啟動這些服務(wù)，也就是HMaster不充當HRegionServer的角色伶贰，不負責(zé)用戶表數(shù)據(jù)的讀寫诱贿，split娃肿，compact這些工作。

2. HMaster實現(xiàn)了MasterServices珠十，MasterServices定義了master提供的服務(wù)：管理table schema料扰，指派region由region server管理. 下面是一些HMaster的重要成員，它們也代表master所做的事情：

   //用來在幾個HMaster之間選擇一個主HMaster
   1. private final ActiveMasterManager activeMasterManager;
   //監(jiān)聽zk的/hbase/draining節(jié)點焙蹭，drainging節(jié)點里存放遷移的region server
   2. private DrainingServerTracker drainingServerTracker;
   //監(jiān)聽zk /hbase/balancer節(jié)點的data晒杈，獲知是否容許對region做balance
   //允許balance會根據(jù)一定的策略使得每個region server管理的region趨于平衡
   3. LoadBalancerTracker loadBalancerTracker;
   //監(jiān)聽 zk /hbase/switch/split 和/hbase/switch/merge節(jié)點
   4. private SplitOrMergeTracker splitOrMergeTracker;
   //監(jiān)聽 zk /hbase/normalizer節(jié)點，用于檢查開啟或關(guān)閉normalizer
   5. private RegionNormalizerTracker regionNormalizerTracker;
   //管理region server打開關(guān)閉孔厉，充當admin角色要求region server open拯钻、split、merge region等等
   6. volatile ServerManager serverManager;
   //它監(jiān)聽/hbase/region-in-transition主要用來處理指派region到region server的撰豺。還被hmaster用來指派meta table的region
   AssignmentManager assignmentManager;
   // 周期性檢查cluster上所有region server粪般，檢查是否需要做region server的負載均衡
   7. private BalancerChore balancerChore;
   //如果開啟normalizer，周期性檢查是否要做normalizer污桦，normalizer用于對過大的region做split亩歹，以及小的region做merge。
   8. private RegionNormalizerChore normalizerChore;
   //snapshot管理器，不是很了解捆憎，hbase 對表做snapshot不是記下所有數(shù)據(jù)舅柜，而只是記錄當前table的一些狀態(tài)（例如wal的max sequence id）。
   9. SnapshotManager snapshotManager;
   

1.2 HMaster構(gòu)造函數(shù)

1. 創(chuàng)建ActiveMasterManager用來選主HMaster躲惰。

2. 在HMaster構(gòu)造函數(shù)里啟動內(nèi)嵌的JettyServer致份，默認監(jiān)聽"0.0.0.0:16010"端口，可以通過web的方式訪問master的信息础拨。

3. 調(diào)用startActiveMasterManager(), 在這個方法里選master氮块，當自己當選master之后，完成master的初始化诡宗，否則會一直阻塞直到master掛了滔蝉，再選新的，如此循環(huán)塔沃。這個方法做的事情如下:

   1. 將當前server放到zk的/hbase/backup-masters下面蝠引，這下面所有備份master，一旦自己當選蛀柴，會將自己從這個里面移除螃概。
   2. 啟動一個新的線程，在新線程里使用嘗試將zk /hbase/master設(shè)置成自己鸽疾，成功的話表示當選master吊洼，返回；失敗則表示有其他的master制肮，會一直阻塞冒窍。
   

上面3中當前hmaster沒有成為主master會一直阻塞，下面說說當前hmaster稱為主master之后的初始化工作豺鼻，此時調(diào)用HMaster#finishActiveMasterInitialization初始化HMaster的服務(wù)：

HMaster#finishActiveMasterInitialization主要完成一下的一些服務(wù)的創(chuàng)建：

1. 創(chuàng)建fileSystemManager综液，包裝hdfs。

2. 調(diào)用this.tableDescriptors.getAll(); 加載table的schema信息拘领，并緩存意乓。

3. 創(chuàng)建servermanager，管理所有hregion server的约素。

4. 調(diào)用setupClusterConnection届良，ClusterConnection提供訪問cluster里所有server的方式。

5. 使用tableLockManager.reapWriteLocks將zk上所有沒有釋放的write lock清除掉圣猎。

6. 調(diào)用initializeZKBasedSystemTrackers()士葫， 它完成以下工作：

   1. 創(chuàng)建balancer， 用于平衡regionserver管理的region數(shù)量送悔，不至于regionserver負載不均衡, 默認使用StochasticLoadBalancer作為負載均衡器慢显。用戶可以實現(xiàn)接口LoadBalancer自定義均衡器爪模，通過配置hbase.master.loadbalancer.class使其生效，balancer只負責(zé)安一定策略返回region應(yīng)該放在哪個regionserver上（RegionPlan）荚藻，但是具體的發(fā)送rpc給region server打開region的操作是有assignManager負責(zé)屋灌。
   2. normalizer，用于region的split和merge使得一個table的所有region的大小趨于均衡应狱，默認使用SimpleRegionNormalizer共郭， 用戶可以實現(xiàn)接口RegionNormalizer自定義normalizer，通過配置hbase.master.normalizer.class引入疾呻。
   3. 創(chuàng)建并啟動loadBalancerTracker除嘹，它監(jiān)聽zk的/hbase/balancer節(jié)點獲知當前cluster是否容許盡心load balance。
   4. 創(chuàng)建并啟動regionNormalizerTracker岸蜗，它監(jiān)聽zk的/hbase/normalizer節(jié)點獲知當前cluster是否容許normalize尉咕。
   5. 創(chuàng)建并啟動splitOrMergeTracker，它監(jiān)聽zk的/hbase/switch節(jié)點獲知當前cluster是否容許split或者merge璃岳，我懷疑只有hbase.assignment.usezk設(shè)置為false（表示merge年缎，split不使用zk管理狀態(tài)）時才起作用。否則就算你disable split也不會生效铃慷。
   6.創(chuàng)建assignmentManager并注冊到zkListener,開始監(jiān)聽/hbase/region-in-transition節(jié)點,還負責(zé)命令region server打開region
   7. 創(chuàng)建并啟動regionServerTracker晦款，監(jiān)聽/hbase/rs獲知hregion server的生死
   8.創(chuàng)建并啟動drainingServerTracker， 監(jiān)聽/hbase/draining節(jié)點
   9. 通過clusterStatusTracker獲得/hbase/running的data枚冗，由于當前hmaster成為主master，將data設(shè)置為當前hmaster的信息蛇损。只要data不為空赁温，其他節(jié)點就會判斷當前cluster是正常運行的。
   10. 創(chuàng)建snapshotManager
   11. 創(chuàng)建mpmHost淤齐，類MasterProcedureManagerHost的實例股囊，后面會降到hmaster上的table schema創(chuàng)建修改都是通過Procedure實現(xiàn)的，mpmHost提供Procedure的運行環(huán)境更啄。
   

7. 創(chuàng)建MasterCoprocessorHost稚疹， 提供hmaster上執(zhí)行MasterObserver的執(zhí)行環(huán)境。

8. 調(diào)用startServiceThread, 啟動hmaster上的一些專門的服務(wù)線程池祭务，主要以下類型(由ExecutorType枚舉内狗，在介紹HRegionServer時也說過region server上啟動的服務(wù)):

    MASTER_CLOSE_REGION        (1),
    MASTER_OPEN_REGION         (2),
    MASTER_SERVER_OPERATIONS   (3),
    MASTER_TABLE_OPERATIONS    (4),
    MASTER_RS_SHUTDOWN         (5),
    MASTER_META_SERVER_OPERATIONS (6),
    M_LOG_REPLAY_OPS           (7),
   

9. 調(diào)用serverManager.waitForRegionServers(status);會在滿足以下條件后結(jié)束等待：

   1. 向master匯報的region server數(shù)量到達配置hbase.master.wait.on.regionservers.maxtostart，不配置的話默認是Integer.MAX_VALUE.
   2. 或則同時滿足： 向master匯報的region server達到hbase.master.wait.on.regionservers.mintostart配置的值义锥，默認為1柳沙；且已經(jīng)等待時間超過hbase.master.wait.on.regionservers.timeout配置值，默認4500ms拌倍，且在hbase.master.wait.on.regionservers.interval（默認1500ms）內(nèi)向master注冊的region server數(shù)量沒有變赂鲤。

   注：region server在啟動時的run()方法內(nèi)會不停調(diào)用reportForDuty向master匯報（通過rpc訪問master的MasterRpcServices#regionServerStartup噪径，該方法最終會走到serverManager），如果master準備好了数初，region server收到master正痴野回復(fù)琼梆，就不再調(diào)用reportForDuty碰辅。

10. 結(jié)下來是恢復(fù)meta region的過程：

1. 首先調(diào)用fileSystemManager.getFailedServersFromLogFolders()獲得認為沒有啟動或啟動失敗的region server。邏輯是這樣的：/hbase/WALs下每一個region server都有一個子路徑杯巨，通過serverManager獲得注冊成功的onlineServers珍德，從/hbase/WALs中解析出所有的server练般，不在onlineServer中即認為失敗。
2. 通過MetaTableLocator.getMetaRegionLocation獲得meta region所在的region server锈候，原理就是從zookeeper的/hbase/meta-region-server獲得之前meta region所在的server薄料。
3. 如果2中獲得的meta region所在的server在1的失敗server 列表中，則認為meta region需要恢復(fù)泵琳，
4. 從3中判斷出metaregion需要恢復(fù)摄职，則調(diào)用splitMetaLogBeforeAssignment，這個方法判斷recoveryMode是LOG_REPLAY還是LOG_SPLITTING获列，前者將meta region放到zk的/hbase/recovering-regions下,后者的meta region所在的failed region server的wal log做split log谷市。
5. 無論4是哪一種情況，meta region最終還是要通過assignMeta將meta region給某個online的 region server管理击孩。

11. 接下來是其他的非meta region所在的server的恢復(fù)迫悠，有如下代碼調(diào)用：

    //previouslyFailedServers 是10-1中判斷出來的dead server
    for (ServerName tmpServer : previouslyFailedServers) {
          this.serverManager.processDeadServer(tmpServer, true);
    }
    

    調(diào)用ServerManager#processDeadServer會將這些server保存起來，master不會等待他們都恢復(fù)完再繼續(xù)(因為這一過程涉及到wal log的split以及region的assign巩梢，會比較慢)创泄。在master啟動初始化過程中，只會做meta region的恢復(fù)工作括蝠。

12. 接著是下面代碼調(diào)用

    this.assignmentManager.joinCluster();
    
    

    assignmentManager鞠抑，從名字上也大致能看出來是負責(zé)region到region server的assign，對于新建的region忌警，要遷移的region搁拙，failed的region server上的region都需要assign到新的region server上。這里只記錄一下joinClutser干了什么:

    1. 調(diào)用Set<ServerName> rebuildUserRegions()獲得dead servers法绵。
    這里有兩個列表： replicasToClose保存需要重新assign的region箕速，offlineServers保存dead server。
    在方法里掃描meta table(10中已經(jīng)恢復(fù)了meta region)礼烈，處于merge狀態(tài)的region包括其repicas region加入replicasToClose列表弧满，狀態(tài)是SPLIT的region加入replicasToClose。 region所在server不在onlineServer（10 - 1 serverManager）里的加入offlineServers此熬，
    2. 接下來調(diào)用processDeadServersAndRegionsInTransition處理deadServer和正在merge或transition沒有完成的region庭呜。在這個方法里判斷需不需要這次hmaster啟動需不需要做一些恢復(fù)工作（是不是failover）滑进，滿足這些條件則認為需要：
        - serverManager里有deadServer；
        - zk的/hbase/region-in-transition節(jié)點不空(表示有split或者 
          merge還沒有完成的region);
        - 步驟11中的deadserver的wal路徑下有正在分裂的log
      總之如果不是failover則直接調(diào)用assignAllUserRegions將region賦給server募谎。
      是failover扶关，調(diào)用processDeadServersAndRecoverLostRegions，處理deadserver是通過ServerCrashProcedure異步完成（這個過程有deadserver的log split和region reassign）数冬。處理in-transition的region是同步完成节槐。
    

13. 接下來是一組scheduledChore的調(diào)度,scheduledChore有ChoreService定期調(diào)度執(zhí)行。

    /*
    clusterStatusChore通過HMaster#getClusterStatus獲得clusterStatus拐纱， clusterMaster包含：
       - 從zk獲得的backup master
       - 從assignmentManager獲得的in-transition的region
       - 從masterCoprocessorHost獲得的注冊到master的coprocessor
       - 從serverManager獲得的dead|online server以及online server的
         ServerLoad的這些信息. 
    獲得的clusterStatus被設(shè)置到loadBalancer的成員上铜异，loadBalancer使用這些信息來決定region到server的assign。
    */ 
    this.clusterStatusChore = new ClusterStatusChore(this, balancer);
    getChoreService().scheduleChore(clusterStatusChore);
    
    /**
    BalancerChore調(diào)用Hmaster#balance, 最終是通過loadBalancer獲得RegionPlan(一個plan包括需要移動的region info秸架，源region server和目的region server)揍庄。loadBalancer只負責(zé)根據(jù)當前的clusterStatus以一定的策略生成RegionPlan，region的遷移則是由assignmentManager根據(jù)plan完成东抹，
    */
    this.balancerChore = new BalancerChore(this);
    getChoreService().scheduleChore(balancerChore);
    
    /**
    首先normalizer的作用的將過大的region split,將太小的region merge蚂子。
    normalizerChore調(diào)用RegionNormalizer， 掃描table的region缭黔，生成Split或者Meger plan食茎，然后通過AdminService這個rpc調(diào)用到某個region server讓其對region split或者merge。
    */
    this.normalizerChore = new RegionNormalizerChore(this);
        getChoreService().scheduleChore(normalizerChore);
    
    /**
    對于已經(jīng)被merge成一個region m的region a,b和對于split成兩個region c馏谨，d的region p, 定期掃描meta table别渔，如果m不在持有a，b的reference file惧互， c钠糊，d不再持有p的reference file，那么就可以完全移除a,b 或者p壹哺。
    注：并不是真正的刪除，而是將region的HFile移動到/hbase/archive/{tableName}/{encoded-region-name}路徑下面
    */
    this.catalogJanitorChore = new CatalogJanitor(this, this);
        getChoreService().scheduleChore(catalogJanitorChore);
    
     periodicDoMetricsChore = new PeriodicDoMetrics(msgInterval, this);
    getChoreService().scheduleChore(periodicDoMetricsChore);
    
    

14. initNamespace()

    創(chuàng)建TableNamespaceManager艘刚，這是創(chuàng)建管宵、訪問、操作namespace這張表的幫助類攀甚。

15. initQuotaManager();

    創(chuàng)建MasterQuotaManager箩朴，這是創(chuàng)建、訪問秋度、操作quota這張表的的幫助類

差不多HMaster啟動時就完成了這些工作炸庞。

最后聲明一下：這個過程實在復(fù)雜，或者說hbase實在復(fù)雜荚斯。本人也是因為工作的需要接觸HBase內(nèi)核的一些東西埠居，也是一名新手查牌，寫出來，可能會有人看滥壕，有錯誤得地方在所難免纸颜，希望發(fā)現(xiàn)錯誤的人，能夠指出來绎橘，十分感謝胁孙。隨著學(xué)習(xí)的深入，我自己發(fā)現(xiàn)的問題也會更正称鳞，但是工作繁忙有可能不夠及時涮较。