清理yarn-nodemanager 歷史任務(wù)存儲的中間結(jié)果以及依賴jar包
修改 yarn-site.xml
vim $HADOOP_HOME/etc/hadoop/yarn-site.xml
添加以下內(nèi)容
<property>
<name>yarn.nodemanager.localizer.cache.target-size-mb</name>
<value>1024</value>
<description>數(shù)據(jù)最大限制超過此值將清除歷史任務(wù)數(shù)據(jù)</description>
</property>
<property>
<name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
<value>604800000</value>
<dedication>多久做一次檢測镣屹，并清除緩存目錄直到目錄大小低于target-size-mb</dedication>
</property>
清理hadoop-historyserver 歷史日志聚合功能后存儲到hdfs中的日志數(shù)據(jù)
修改 yarn-site.xml
vim $HADOOP_HOME/etc/hadoop/yarn-site.xml
添加以下內(nèi)容
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>432000</value>
<dedication>多久清理一次歷史聚合日志</dedication>
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/tmp/container/logs</value>
<dedication>聚合后的日志hdfs存放目錄</dedication>
</property>
重啟hadoop集群參數(shù)生效
