yarn-site.xml 配置說明

注意,配置這些參數(shù)前,應充分理解這幾個參數(shù)的含義左权,以防止誤配給集群帶來的隱患。另外痴颊,這些參數(shù)均需要在yarn-site.xml中配置赏迟。

  1. ResourceManager相關配置參數(shù)
  • (1) yarn.resourcemanager.address
    參數(shù)解釋:ResourceManager 對客戶端暴露的地址〈览猓客戶端通過該地址向RM提交應用程序锌杀,殺死應用程序等甩栈。
    默認值:${yarn.resourcemanager.hostname}:8032
  • (2) yarn.resourcemanager.scheduler.address
    參數(shù)解釋:ResourceManager 對ApplicationMaster暴露的訪問地址。ApplicationMaster通過該地址向RM申請資源糕再、釋放資源等谤职。
    默認值:${yarn.resourcemanager.hostname}:8030
  • (3) yarn.resourcemanager.resource-tracker.address
    參數(shù)解釋:ResourceManager 對NodeManager暴露的地址.。NodeManager通過該地址向RM匯報心跳亿鲜,領取任務等。
    默認值:${yarn.resourcemanager.hostname}:8031
  • (4) yarn.resourcemanager.admin.address
    參數(shù)解釋:ResourceManager 對管理員暴露的訪問地址冤吨。管理員通過該地址向RM發(fā)送管理命令等蒿柳。
    默認值:${yarn.resourcemanager.hostname}:8033
  • (5) yarn.resourcemanager.webapp.address
    參數(shù)解釋:ResourceManager對外web ui地址。用戶可通過該地址在瀏覽器中查看集群各類信息漩蟆。
    默認值:${yarn.resourcemanager.hostname}:8088
  • (6) yarn.resourcemanager.scheduler.class
    參數(shù)解釋:啟用的資源調度器主類垒探。目前可用的有FIFO、Capacity Scheduler和Fair Scheduler怠李。
    默認值:
    org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
  • (7) yarn.resourcemanager.resource-tracker.client.thread-count
    參數(shù)解釋:處理來自NodeManager的RPC請求的Handler數(shù)目圾叼。
    默認值:50
  • (8) yarn.resourcemanager.scheduler.client.thread-count
    參數(shù)解釋:處理來自ApplicationMaster的RPC請求的Handler數(shù)目。
    默認值:50
  • (9) yarn.scheduler.minimum-allocation-mb/ yarn.scheduler.maximum-allocation-mb
    參數(shù)解釋:單個可申請的最小/最大內存資源量捺癞。比如設置為1024和3072夷蚊,則運行MapRedce作業(yè)時,每個Task最少可申請1024MB內存髓介,最多可申請3072MB內存惕鼓。
    默認值:1024/8192
  • (10) yarn.scheduler.minimum-allocation-vcores / yarn.scheduler.maximum-allocation-vcores
    參數(shù)解釋:單個可申請的最小/最大虛擬CPU個數(shù)。比如設置為1和4唐础,則運行MapRedce作業(yè)時箱歧,每個Task最少可申請1個虛擬CPU,最多可申請4個虛擬CPU一膨。什么是虛擬CPU呀邢,可閱讀我的這篇文章:“YARN 資源調度器剖析”。
    默認值:1/32
  • (11) yarn.resourcemanager.nodes.include-path /yarn.resourcemanager.nodes.exclude-path
    參數(shù)解釋:NodeManager黑白名單豹绪。如果發(fā)現(xiàn)若干個NodeManager存在問題价淌,比如故障率很高,任務運行失敗率高森篷,則可以將之加入黑名單中输钩。注意,這兩個配置參數(shù)可以動態(tài)生效仲智。(調用一個refresh命令即可)
    默認值:“”
  • (12) yarn.resourcemanager.nodemanagers.heartbeat-interval-ms
    參數(shù)解釋:NodeManager心跳間隔
    默認值:1000(毫秒)
  1. NodeManager相關配置參數(shù)
  • (1) yarn.nodemanager.resource.memory-mb
    參數(shù)解釋:NodeManager總的可用物理內存买乃。注意,該參數(shù)是不可修改的钓辆,一旦設置剪验,整個運行過程中不可動態(tài)修改肴焊。另外,該參數(shù)的默認值是8192MB功戚,即使你的機器內存不夠8192MB娶眷,YARN也會按照這些內存來使用(傻不傻?)啸臀,因此届宠,這個值通過一定要配置。不過乘粒,Apache已經(jīng)正在嘗試將該參數(shù)做成可動態(tài)修改的豌注。
    默認值:8192
  • (2) yarn.nodemanager.vmem-pmem-ratio
    參數(shù)解釋:每使用1MB物理內存,最多可用的虛擬內存數(shù)灯萍。
    默認值:2.1
  • (3) yarn.nodemanager.resource.cpu-vcores
    參數(shù)解釋:NodeManager總的可用虛擬CPU個數(shù)轧铁。
    默認值:8
  • (4) yarn.nodemanager.local-dirs
    參數(shù)解釋:中間結果存放位置,類似于1.0中的mapred.local.dir旦棉。注意齿风,這個參數(shù)通常會配置多個目錄,已分攤磁盤IO負載绑洛。
    默認值:${hadoop.tmp.dir}/nm-local-dir
  • (5) yarn.nodemanager.log-dirs
    參數(shù)解釋:日志存放地址(可配置多個目錄)救斑。
    默認值:${yarn.log.dir}/userlogs
  • (6) yarn.nodemanager.log.retain-seconds
    參數(shù)解釋:NodeManager上日志最多存放時間(不啟用日志聚集功能時有效)。
    默認值:10800(3小時)
  • (7) yarn.nodemanager.aux-services
    參數(shù)解釋:NodeManager上運行的附屬服務真屯。需配置成mapreduce_shuffle系谐,才可運行MapReduce程序
    默認值:“”

轉載自董的博客

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市讨跟,隨后出現(xiàn)的幾起案子纪他,更是在濱河造成了極大的恐慌,老刑警劉巖晾匠,帶你破解...
    沈念sama閱讀 218,122評論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件茶袒,死亡現(xiàn)場離奇詭異,居然都是意外死亡凉馆,警方通過查閱死者的電腦和手機薪寓,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,070評論 3 395
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來澜共,“玉大人向叉,你說我怎么就攤上這事∴露” “怎么了母谎?”我有些...
    開封第一講書人閱讀 164,491評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長京革。 經(jīng)常有香客問我奇唤,道長幸斥,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,636評論 1 293
  • 正文 為了忘掉前任咬扇,我火速辦了婚禮甲葬,結果婚禮上,老公的妹妹穿的比我還像新娘懈贺。我一直安慰自己经窖,他們只是感情好,可當我...
    茶點故事閱讀 67,676評論 6 392
  • 文/花漫 我一把揭開白布梭灿。 她就那樣靜靜地躺著钠至,像睡著了一般。 火紅的嫁衣襯著肌膚如雪胎源。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,541評論 1 305
  • 那天屿脐,我揣著相機與錄音涕蚤,去河邊找鬼。 笑死的诵,一個胖子當著我的面吹牛万栅,可吹牛的內容都是我干的。 我是一名探鬼主播西疤,決...
    沈念sama閱讀 40,292評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼烦粒,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了代赁?” 一聲冷哼從身側響起扰她,我...
    開封第一講書人閱讀 39,211評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎芭碍,沒想到半個月后徒役,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,655評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡窖壕,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,846評論 3 336
  • 正文 我和宋清朗相戀三年忧勿,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片瞻讽。...
    茶點故事閱讀 39,965評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡鸳吸,死狀恐怖,靈堂內的尸體忽然破棺而出速勇,到底是詐尸還是另有隱情晌砾,我是刑警寧澤,帶...
    沈念sama閱讀 35,684評論 5 347
  • 正文 年R本政府宣布烦磁,位于F島的核電站贡羔,受9級特大地震影響廉白,放射性物質發(fā)生泄漏。R本人自食惡果不足惜乖寒,卻給世界環(huán)境...
    茶點故事閱讀 41,295評論 3 329
  • 文/蒙蒙 一猴蹂、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧楣嘁,春花似錦磅轻、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,894評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至叭爱,卻和暖如春撮躁,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背买雾。 一陣腳步聲響...
    開封第一講書人閱讀 33,012評論 1 269
  • 我被黑心中介騙來泰國打工把曼, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人漓穿。 一個月前我還...
    沈念sama閱讀 48,126評論 3 370
  • 正文 我出身青樓嗤军,卻偏偏與公主長得像,于是被迫代替她去往敵國和親晃危。 傳聞我的和親對象是個殘疾皇子叙赚,可洞房花燭夜當晚...
    茶點故事閱讀 44,914評論 2 355

推薦閱讀更多精彩內容