什么是 ConfigMap

顧名思義，用來存配置的Map星瘾，可以存單個配置或者配置文件组力，在 POD 中我們可以通過環(huán)境變量來訪問單個配置和配置文件瘟斜，后者一般會被 mount 到 Pod 的一個 Volume 上县貌，這樣我們在跑 Spark on k8s 的時候术陶，可以將一些配置放在 ConfigMap 中，和容器鏡像解耦煤痕。

Spark 支持哪些 ConfigMap

如果使用 Spark 社區(qū)默認(rèn)的 spark-submit 的提交方式梧宫，在 Spark 3.0 之后（當(dāng)然目前還沒有release），支持以下類型的 ConfigMap摆碉。

這些是用戶可以配置的塘匣，在 Spark on k8s 的內(nèi)部運行實現(xiàn)上，也用了一些 ConfigMap 特性帶來的便利巷帝，可以通過 describe 命令查看下 Driver Pod 的描述忌卤，

Volumes:
  hadoop-properties:
    Type:      ConfigMap (a volume populated by a ConfigMap)
    Name:      hz10-hadoop-dir
    Optional:  false
  krb5-file:
    Type:      ConfigMap (a volume populated by a ConfigMap)
    Name:      hehe-2c6c6c6cdbf66f13-krb5-file
    Optional:  false
  kerberos-keytab:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  hehe-2c6c6c6cdbf66f13-kerberos-keytab
    Optional:    false
  spark-local-dir-1:
    Type:       EmptyDir (a temporary directory that shares a pod's lifetime)
    Medium:
    SizeLimit:  <unset>
  spark-conf-volume:
    Type:      ConfigMap (a volume populated by a ConfigMap)
    Name:      hehe-2c6c6c6cdbf66f13-driver-conf-map
    Optional:  false
  default-token-nxhgg:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  default-token-nxhgg
    Optional:    false

比如 spark-conf-volume 這個，就存放了客戶端匯總的所有 spark 相關(guān)的配置楞泼，默認(rèn)被 mount 到 /opt/spark/conf/spark.properties 這個位置驰徊，然后在 Driver Pod 啟動時，通過 --properties-file 參數(shù)指定现拒，也可以通過 describe 命令，我們也可以查看這個 map 的內(nèi)容

 Kent@KentsMacBookPro  ~  kubectl describe cm hehe-2c6c6c6cdbf66f13-driver-conf-map  -nns1
Name:         hehe-2c6c6c6cdbf66f13-driver-conf-map
Namespace:    ns1
Labels:       <none>
Annotations:  <none>

Data
====
spark.properties:
----
#Java properties built from Kubernetes config map with name: hehe-2c6c6c6cdbf66f13-driver-conf-map
#Thu Aug 29 14:00:59 CST 2019
spark.driver.host=hehe-2c6c6c6cdbf66f13-driver-svc.ns1.svc
spark.driver.blockManager.port=7079
spark.kubernetes.executor.podNamePrefix=hehe-2c6c6c6cdbf66f13
spark.kubernetes.container.image=harbor-inner.sparkonk8s.netease.com/tenant1-project1/spark\:v3-SPARK-28896
spark.jars=hdfs\://hz-cluster10/user/kyuubi/udf/spark-upload-6bd024d4-a59a-4628-b923-b7a8bc5139f8/hadoop-lzo-0.4.20-SNAPSHOT.jar
spark.kubernetes.submitInDriver=true
spark.kerberos.principal=kyuubi/dev@HADOOP.HZ.NETEASE.COM
spark.submit.deployMode=cluster
spark.kubernetes.memoryOverheadFactor=0.1
spark.kubernetes.resource.type=java
spark.kubernetes.hadoop.configMapName=hz10-hadoop-dir
spark.kubernetes.kerberos.krb5.path=/etc/krb5.conf
spark.master=k8s\://https\://10.120.238.100\:7443
spark.executor.instanses=5
spark.submit.pyFiles=
spark.kubernetes.container.image.pullSecrets=mysecret
spark.kubernetes.driver.pod.name=hehe-2c6c6c6cdbf66f13-driver
spark.kubernetes.namespace=ns1
spark.kerberos.keytab=/mnt/secrets/kerberos-keytab/kyuubi.keytab
spark.app.id=spark-b2c4c18da0fa4e43b8dfd554893f2950
spark.app.name=hehe
spark.driver.extraJavaOptions=-agentlib\:jdwp\=transport\=dt_socket,server\=y,suspend\=y,address\=50014
spark.kubernetes.file.upload.path=hdfs\://hz-cluster10/user/kyuubi/udf
spark.driver.port=7078

Events:  <none>

如何使用 ConfigMap

創(chuàng)建

使用 ConfigMap 之前必須先創(chuàng)建望侈，我們可以通過kubectl create configmap --help 了解這個命令的用法印蔬。
ConfigMap 和命名空間是綁定的，創(chuàng)建在對應(yīng)的命名空間內(nèi)脱衙，后面跑 spark 的時候才能使用侥猬。
我們以 spark.kubernetes.hadoop.configMapName 來舉例，我們用來創(chuàng)建ConfigMap 來存儲 HADOOP_CONF_DIR 下的文件捐韩。

 # Create a new configmap named my-config based on folder bar
  kubectl create configmap my-config --from-file=path/to/bar

  # Create a new configmap named my-config with specified keys instead of file basenames on disk
  kubectl create configmap my-config --from-file=key1=/path/to/bar/file1.txt --from-file=key2=/path/to/bar/file2.txt

可以通過上面兩種方式退唠，直接使用路徑 或者 一個文件一個文件來指定

kubectl create configmap hz10-hadoop-dir -nns1 --from-file=./etc/hadoop

kubectl create configmap hz10-hadoop --from-file=./etc/hadoop/core-site.xml --from-file=./etc/hadoop/hdfs-site.xml --from-file=./etc/hadoop/yarn-site.xml -nns1

通過 describe 命令可以查看該 ConfigMap 信息。

ConfigMap 的 數(shù)據(jù)部分荤胁，key值對應(yīng)的是文件的名字瞧预，Value對應(yīng)的是該文件的實際內(nèi)容。

使用

創(chuàng)建完成后仅政，我們就可以通過將它的名稱垢油，如hz10-hadoop-dir，直接設(shè)置給spark.kubernetes.hadoop.configMapName 就可以使用啦

bin/spark-submit \
    --conf spark.kubernetes.namespace=ns1 \
    --conf spark.kubernetes.container.image.pullSecrets=mysecret \
    --conf spark.kubernetes.hadoop.configMapName=hz10-hadoop-dir \
    --conf spark.master=k8s://https://10.120.238.100:7443 \
    --conf spark.kubernetes.container.image=harbor-inner.sparkonk8s.netease.com/tenant1-project1/spark:v3-SPARK-28896
    --conf spark.kerberos.keytab=/Users/Kent/Downloads/kyuubi.keytab \
    --conf spark.kerberos.principal=kyuubi/dev@HADOOP.HZ.NETEASE.COM \
    --conf spark.kubernetes.kerberos.krb5.path=/etc/krb5.conf  \
    --name hehe \
    --deploy-mode cluster \
    --class org.apache.spark.examples.HdfsTest \
    local:///opt/spark/examples/jars/spark-examples_2.12-3.0.0-SNAPSHOT.jar \
    hdfs://hz-cluster10/user/kyuubi/hive_db/kyuubi.db/hive_tbl

總結(jié)

1. 目前Spark 2.3/2.4 不支持這個功能圆丹，需要等3.0 release
2. 3.0貌似也也只暴露了這兩個 ConfigMap 給用戶側(cè)使用
3. cluster 模式提交如果帶一些需要上傳的jar包滩愁，貌似有個bug，先提個PR再說 https://github.com/apache/spark/pull/25609