工作中可能會(huì)遇到這種問題:
集群的spark工作內(nèi)存太小,比如只有50個(gè)G,如果想讓spark工作內(nèi)存變成100個(gè)G转锈,則需要在CM控制臺(tái)修改以下兩個(gè)參數(shù)
yarn.nodemanager.resource.memory-mb
yarn.nodemanager.resource.cpu-vcores
yarn.nodemanager.resource.memory-mb
yarn.nodemanager.resource.cpu-vcores