先附一個(gè)官網(wǎng)鏈接

由于yarn只能使用一種調(diào)度器攒盈，所以要想使用Fair Scheduler首先要在yarn-site.xml中將配置參數(shù) yarn.resourcemanager.scheduler.class
設(shè)置為org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler疗我。
Fair Scheduler的配置選項(xiàng)包括兩部分鸦概，其中一部分在yarn-site.xml中拄氯，主要用于配置調(diào)度器級(jí)別的參數(shù)霎俩，另外一部分在一個(gè)自定義配置文件（默認(rèn)是fair-scheduler.xml）中上陕，主要用于配置各個(gè)隊(duì)列的資源量桂对、權(quán)重等信息。

1.配置文件yarn-site.xml

1. yarn.scheduler.fair.allocation.file ：自定義XML配置文件所在位置倦卖，該文件主要用于描述各個(gè)隊(duì)列的屬性洒擦，比如資源量、權(quán)重等怕膛，具體配置格式將在后面介紹熟嫩。
2. yarn.scheduler.fair.user-as-default-queue：當(dāng)應(yīng)用程序未指定隊(duì)列名時(shí)，是否指定用戶名作為應(yīng)用程序所在的隊(duì)列名褐捻。如果設(shè)置為false或者未設(shè)置邦危，
    所有未知隊(duì)列的應(yīng)用程序?qū)⒈惶峤坏絛efault隊(duì)列中洋侨，默認(rèn)值為true舍扰。
3. yarn.scheduler.fair.preemption：是否啟用搶占機(jī)制倦蚪，默認(rèn)值是false。
4. yarn.scheduler.fair.sizebasedweight：在一個(gè)隊(duì)列內(nèi)部分配資源時(shí)边苹，默認(rèn)情況下陵且，采用公平輪詢的方法將資源分配各各個(gè)應(yīng)用程序，
    而該參數(shù)則提供了另外一種資源分配方式：按照應(yīng)用程序資源需求數(shù)目分配資源个束，即需求資源數(shù)量越多慕购，分配的資源越多。默認(rèn)情況下茬底，該參數(shù)值為false沪悲。
5. yarn.scheduler.assignmultiple：是否啟動(dòng)批量分配功能。當(dāng)一個(gè)節(jié)點(diǎn)出現(xiàn)大量資源時(shí)阱表，可以一次分配完成殿如，也可以多次分配完成。默認(rèn)情況下最爬，該參數(shù)值為false涉馁。
6. yarn.scheduler.fair.max.assign：如果開啟批量分配功能，可指定一次分配的container數(shù)目爱致。默認(rèn)情況下烤送，該參數(shù)值為-1，表示不限制糠悯。
7. yarn.scheduler.fair.locality.threshold.node：當(dāng)應(yīng)用程序請(qǐng)求某個(gè)節(jié)點(diǎn)上資源時(shí)帮坚，它可以接受的可跳過(guò)的最大資源調(diào)度機(jī)會(huì)。
    當(dāng)按照分配策略互艾，可將一個(gè)節(jié)點(diǎn)上的資源分配給某個(gè)應(yīng)用程序時(shí)试和，如果該節(jié)點(diǎn)不是應(yīng)用程序期望的節(jié)點(diǎn)，可選擇跳過(guò)該分配機(jī)會(huì)暫時(shí)將資源分配給其他應(yīng)用程序忘朝，
    直到出現(xiàn)滿足該應(yīng)用程序需的節(jié)點(diǎn)資源出現(xiàn)灰署。通常而言，一次心跳代表一次調(diào)度機(jī)會(huì)局嘁，而該參數(shù)則表示跳過(guò)調(diào)度機(jī)會(huì)占節(jié)點(diǎn)總數(shù)的比例溉箕，默認(rèn)情況下，該值為-1.0悦昵，表示不跳過(guò)任何調(diào)度機(jī)會(huì)肴茄。
8. yarn.scheduler.fair.locality.threshold.rack：當(dāng)應(yīng)用程序請(qǐng)求某個(gè)機(jī)架上資源時(shí)，它可以接受的可跳過(guò)的最大資源調(diào)度機(jī)會(huì)但指。
9. yarn.scheduler.fair.allow-undeclared-pools：默認(rèn)是true寡痰，提交的app會(huì)被提交到指定隊(duì)列或者取決于user-as-default-queue屬性抗楔。如果為false，app總是提交到默認(rèn)隊(duì)列中拦坠。
    如果allocations配置文件中給出了隊(duì)列匹配規(guī)則這個(gè)屬性將會(huì)被忽略连躏。
10. yarn.scheduler.increment-allocation-mb：內(nèi)存規(guī)整化單位，默認(rèn)是1024贞滨，這意味著入热，如果一個(gè)Container請(qǐng)求資源是1.5GB，則將被調(diào)度器規(guī)整化為ceiling(1.5 GB / 1GB) * 1G=2GB晓铆。
11. yarn.scheduler.increment-allocation-vcores：虛擬CPU規(guī)整化單位勺良，默認(rèn)是1，含義與內(nèi)存規(guī)整化單位類似骄噪。

2.自定義配置文件

Fair Scheduler允許用戶將隊(duì)列信息專門放到一個(gè)配置文件（默認(rèn)是fair-scheduler.xml）尚困，

1. 隊(duì)列配置 Queue elements：

1. minResources ：最少資源保證量，設(shè)置格式為“X mb, Y vcores”链蕊，當(dāng)一個(gè)隊(duì)列的最少資源保證量未滿足時(shí)事甜，它將優(yōu)先于其他同級(jí)隊(duì)列獲得資源，
    對(duì)于不同的調(diào)度策略（后面會(huì)詳細(xì)介紹）示弓，最少資源保證量的含義不同讳侨，對(duì)于fair策略，則只考慮內(nèi)存資源奏属，
    即如果一個(gè)隊(duì)列使用的內(nèi)存資源超過(guò)了它的最少資源量跨跨，則認(rèn)為它已得到了滿足；對(duì)于drf策略囱皿，則考慮主資源使用的資源量勇婴，
    即如果一個(gè)隊(duì)列的主資源量超過(guò)它的最少資源量，則認(rèn)為它已得到了滿足嘱腥。
2. maxResources：最多可以使用的資源量耕渴，fair scheduler會(huì)保證每個(gè)隊(duì)列使用的資源量不會(huì)超過(guò)該隊(duì)列的最多可使用資源量。
3. maxRunningApps：最多同時(shí)運(yùn)行的應(yīng)用程序數(shù)目齿兔。通過(guò)限制該數(shù)目橱脸，可防止超量Map Task同時(shí)運(yùn)行時(shí)產(chǎn)生的中間輸出結(jié)果撐爆磁盤。
4. weight：隊(duì)列間的權(quán)重值分苇，當(dāng)隊(duì)列中有任務(wù)等待添诉，并且集群中有空閑資源時(shí)候，每個(gè)隊(duì)列可以根據(jù)權(quán)重獲得不同比例的集群空閑資源医寿。
5. schedulingPolicy：隊(duì)列采用的調(diào)度模式栏赴，可以是fifo、fair或者drf靖秩。
6. aclSubmitApps：可向隊(duì)列中提交應(yīng)用程序的Linux用戶或用戶組列表须眷，默認(rèn)情況下為“*”竖瘾，表示任何用戶均可以向該隊(duì)列提交應(yīng)用程序。
    需要注意的是花颗，該屬性具有繼承性捕传，即子隊(duì)列的列表會(huì)繼承父隊(duì)列的列表。配置該屬性時(shí)捎稚，用戶之間或用戶組之間用“乐横，”分割，
    用戶和用戶組之間用空格分割今野，比如“user1, user2 group1,group2”。
7. aclAdministerApps：該隊(duì)列的管理員列表罐农。一個(gè)隊(duì)列的管理員可管理該隊(duì)列中的資源和應(yīng)用程序条霜，比如可殺死任意應(yīng)用程序。
8. minSharePreemptionTimeout：最小共享量搶占時(shí)間涵亏。如果一個(gè)資源池在該時(shí)間內(nèi)使用的資源量一直低于最小資源量宰睡，則開始搶占其他隊(duì)列的資源。

2. 其他配置

1. User elements：為單個(gè)用戶添加maxRunningApps屬性限制其最多同時(shí)運(yùn)行的應(yīng)用程序數(shù)目
2. userMaxAppsDefault elements：沒有配置的用戶最多同時(shí)運(yùn)行的app數(shù)目的默認(rèn)值
3. fairSharePreemptionTimeout elements：公平共享量搶占時(shí)間气筋，如果一個(gè)隊(duì)列在該時(shí)間內(nèi)使用資源量一直低于公平共享量的一半
    (這個(gè)比例可以配置拆内，通過(guò)defaultFairSharePreemptionThreshold來(lái)配置默認(rèn)比例，fairSharePreemptionThreshold配置該隊(duì)列比例)宠默，
    則開始搶占該隊(duì)列的資源麸恍。
4. defaultMinSharePreemptionTimeout elements：隊(duì)列的minSharePreemptionTimeout屬性的默認(rèn)值。
5. queueMaxAppsDefault elements：隊(duì)列的maxRunningApps屬性的默認(rèn)值搀矫，會(huì)被隊(duì)列的maxRunningApps屬性覆蓋抹沪。
6. defaultQueueSchedulingPolicy elements：隊(duì)列的schedulingPolicy屬性的默認(rèn)值。
7. queuePlacementPolicy elements：基于規(guī)則來(lái)確定應(yīng)用應(yīng)該放到哪個(gè)隊(duì)列瓤球，<queuePlacementPolicy> 元素定義了一個(gè)規(guī)則列表融欧，其中的每個(gè)規(guī)則會(huì)被逐個(gè)嘗試直到匹配成功，
    至于它的規(guī)則官網(wǎng)上有寫卦羡，這里就不寫了噪馏。

3.實(shí)例

<?xml version="1.0"?>
<allocations>
  <queue name="sample_queue">
    <minResources>10000 mb,0 vcores</minResources>
    <maxResources>90000 mb,0 vcores</maxResources>
    <maxRunningApps>50</maxRunningApps>
    <weight>2.0</weight>
    <schedulingPolicy>fair</schedulingPolicy>
    <aclAdministerApps>admin</aclAdministerApps>
    <minSharePreemptionTimeout>300</minSharePreemptionTimeout>
    <queue name="sample_sub_queue">
      <aclSubmitApps>charlie</aclSubmitApps>
      <minResources>5000 mb,0 vcores</minResources>
    </queue>
  </queue>
  
  <user name="sample_user">
    <maxRunningApps>30</maxRunningApps>
  </user>
  <userMaxAppsDefault>5</userMaxAppsDefault>
  <fairSharePreemptionTimeout>6000</fairSharePreemptionTimeout>
  
  <queuePlacementPolicy>
    <rule name="specified" />
    <rule name="primaryGroup" create="false" />
    <rule name="default" />
  </queuePlacementPolicy>
</allocations>