注意,配置這些參數(shù)前,應充分理解這幾個參數(shù)的含義左权,以防止誤配給集群帶來的隱患。另外痴颊,這些參數(shù)均需要在yarn-site.xml中配置赏迟。
- ResourceManager相關配置參數(shù)
- (1)
yarn.resourcemanager.address
參數(shù)解釋:ResourceManager 對客戶端暴露的地址〈览猓客戶端通過該地址向RM提交應用程序锌杀,殺死應用程序等甩栈。
默認值:${yarn.resourcemanager.hostname}:8032 - (2)
yarn.resourcemanager.scheduler.address
參數(shù)解釋:ResourceManager 對ApplicationMaster暴露的訪問地址。ApplicationMaster通過該地址向RM申請資源糕再、釋放資源等谤职。
默認值:${yarn.resourcemanager.hostname}:8030 - (3)
yarn.resourcemanager.resource-tracker.address
參數(shù)解釋:ResourceManager 對NodeManager暴露的地址.。NodeManager通過該地址向RM匯報心跳亿鲜,領取任務等。
默認值:${yarn.resourcemanager.hostname}:8031 - (4)
yarn.resourcemanager.admin.address
參數(shù)解釋:ResourceManager 對管理員暴露的訪問地址冤吨。管理員通過該地址向RM發(fā)送管理命令等蒿柳。
默認值:${yarn.resourcemanager.hostname}:8033 - (5)
yarn.resourcemanager.webapp.address
參數(shù)解釋:ResourceManager對外web ui地址。用戶可通過該地址在瀏覽器中查看集群各類信息漩蟆。
默認值:${yarn.resourcemanager.hostname}:8088 - (6)
yarn.resourcemanager.scheduler.class
參數(shù)解釋:啟用的資源調度器主類垒探。目前可用的有FIFO、Capacity Scheduler和Fair Scheduler怠李。
默認值:
org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler - (7)
yarn.resourcemanager.resource-tracker.client.thread-count
參數(shù)解釋:處理來自NodeManager的RPC請求的Handler數(shù)目圾叼。
默認值:50 - (8)
yarn.resourcemanager.scheduler.client.thread-count
參數(shù)解釋:處理來自ApplicationMaster的RPC請求的Handler數(shù)目。
默認值:50 - (9)
yarn.scheduler.minimum-allocation-mb/ yarn.scheduler.maximum-allocation-mb
參數(shù)解釋:單個可申請的最小/最大內存資源量捺癞。比如設置為1024和3072夷蚊,則運行MapRedce作業(yè)時,每個Task最少可申請1024MB內存髓介,最多可申請3072MB內存惕鼓。
默認值:1024/8192 - (10)
yarn.scheduler.minimum-allocation-vcores / yarn.scheduler.maximum-allocation-vcores
參數(shù)解釋:單個可申請的最小/最大虛擬CPU個數(shù)。比如設置為1和4唐础,則運行MapRedce作業(yè)時箱歧,每個Task最少可申請1個虛擬CPU,最多可申請4個虛擬CPU一膨。什么是虛擬CPU呀邢,可閱讀我的這篇文章:“YARN 資源調度器剖析”。
默認值:1/32 - (11)
yarn.resourcemanager.nodes.include-path /yarn.resourcemanager.nodes.exclude-path
參數(shù)解釋:NodeManager黑白名單豹绪。如果發(fā)現(xiàn)若干個NodeManager存在問題价淌,比如故障率很高,任務運行失敗率高森篷,則可以將之加入黑名單中输钩。注意,這兩個配置參數(shù)可以動態(tài)生效仲智。(調用一個refresh命令即可)
默認值:“” - (12)
yarn.resourcemanager.nodemanagers.heartbeat-interval-ms
參數(shù)解釋:NodeManager心跳間隔
默認值:1000(毫秒)
- NodeManager相關配置參數(shù)
- (1)
yarn.nodemanager.resource.memory-mb
參數(shù)解釋:NodeManager總的可用物理內存买乃。注意,該參數(shù)是不可修改的钓辆,一旦設置剪验,整個運行過程中不可動態(tài)修改肴焊。另外,該參數(shù)的默認值是8192MB功戚,即使你的機器內存不夠8192MB娶眷,YARN也會按照這些內存來使用(傻不傻?)啸臀,因此届宠,這個值通過一定要配置。不過乘粒,Apache已經(jīng)正在嘗試將該參數(shù)做成可動態(tài)修改的豌注。
默認值:8192 - (2)
yarn.nodemanager.vmem-pmem-ratio
參數(shù)解釋:每使用1MB物理內存,最多可用的虛擬內存數(shù)灯萍。
默認值:2.1 - (3)
yarn.nodemanager.resource.cpu-vcores
參數(shù)解釋:NodeManager總的可用虛擬CPU個數(shù)轧铁。
默認值:8 - (4)
yarn.nodemanager.local-dirs
參數(shù)解釋:中間結果存放位置,類似于1.0中的mapred.local.dir旦棉。注意齿风,這個參數(shù)通常會配置多個目錄,已分攤磁盤IO負載绑洛。
默認值:${hadoop.tmp.dir}/nm-local-dir - (5)
yarn.nodemanager.log-dirs
參數(shù)解釋:日志存放地址(可配置多個目錄)救斑。
默認值:${yarn.log.dir}/userlogs - (6)
yarn.nodemanager.log.retain-seconds
參數(shù)解釋:NodeManager上日志最多存放時間(不啟用日志聚集功能時有效)。
默認值:10800(3小時) - (7)
yarn.nodemanager.aux-services
參數(shù)解釋:NodeManager上運行的附屬服務真屯。需配置成mapreduce_shuffle系谐,才可運行MapReduce程序
默認值:“”
轉載自董的博客