> 通過(guò)spark-submit會(huì)固定占用一占的資源赖草，有什么辦法剪个，在任務(wù)不運(yùn)作的時(shí)候?qū)①Y源釋放，讓其它任務(wù)使用呢，yarn新版本默認(rèn)已經(jīng)支持了绒疗，我們使用的是HDP。
## 版本如下
## 配置
1. HDP里面已經(jīng)默認(rèn)支持spark動(dòng)態(tài)資源釋配置
2. 代碼配置
```
val sparkConf = new SparkConf()
? ? .set("spark.shuffle.service.enabled", "true")
? ? .set("spark.dynamicAllocation.enabled", "true")
? ? .set("spark.dynamicAllocation.minExecutors", "1") //最少占用1個(gè)Executor
? ? .set("spark.dynamicAllocation.initialExecutors", "1") //默認(rèn)初始化一個(gè)Executor
? ? .set("spark.dynamicAllocation.maxExecutors", "6") //最多占用6個(gè)Executor
? ? .set("spark.dynamicAllocation.executorIdleTimeout", "60") //executor閑置時(shí)間
? ? .set("spark.dynamicAllocation.cachedExecutorIdleTimeout", "60") //cache閑置時(shí)間
? ? .set("spark.executor.cores", "3")//使用的vcore
? ? //? ? .setMaster("local[12]")
? ? .setAppName("Spark DynamicRelease")
? val spark: SparkSession = SparkSession
? ? .builder
? ? .config(sparkConf)
? ? .getOrCreate()
```
## 注意事項(xiàng)
如果spark計(jì)算當(dāng)中使用了rdd.cache吓蘑，不加下面的配置坟冲，動(dòng)態(tài)資源不會(huì)釋放
```
.set("spark.dynamicAllocation.cachedExecutorIdleTimeout", "60")
```
---
