背景:
? ? ? ? 1、flink on yarn
? ? ? ? 2、某一天本人提交flink任務(wù),.原命令/bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024,正常啟動番甩,我調(diào)大了-ytm為2048.程序一直報Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster,但實際上悠鞍,整個集群內(nèi)存很充足对室,我就懵逼了。
? ? ? ? 3咖祭、開啟解惑之旅。
解惑記錄如下蔫骂,希望同樣問題的小伙伴可以借鑒一下么翰。
? ? ? ? 出現(xiàn)這個問題,我首先想到了我前幾天調(diào)的yarn參數(shù)辽旋,yarn.nodemanager.vmem-pmem-ratio調(diào)了值為5浩嫌,這個是虛擬內(nèi)存和真實物理內(nèi)存的比率,這參數(shù)默認值為2.1补胚,我把yarn.nodemanager.vmem-pmem-ratio 調(diào)小為3.然后運行
./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 2048 -ynm? xxxx? ? -d? -c? ? ? ? ? ? ?com.xxx.flink.app.xxxx? ? /var/apps/xxx-xxx.jar? ? 正常啟動码耐。
有感:比如yarn-參數(shù) 一般是作為基礎(chǔ)參數(shù), yarn啟動之后一般不做修改溶其,那就設(shè)置為偏小或者最小值? 骚腥,然后每次給作業(yè)job分配的時候就按實際的申請就可以了