我們知道褒纲，通過指定spark.jars.packages參數(shù)准夷，可以添加依賴的包。而且相比于用spark.jars直接指定jar文件路徑莺掠，前者還可以自動下載所需依賴衫嵌，在有網(wǎng)絡的情況下非常方便。
然而默認情況下spark會到maven的中央倉庫進行下載彻秆，速度非常慢楔绞。我們可以使用國內的鏡像源進行加速。以華為云鏡像為例唇兑。
1. 指定ivy2配置文件路徑
spark是通過ivy2進行包下載的酒朵，而其配置文件默認打包在了$SPARK_HOME/jars/ivy-2.4.0.jar里，因此無法修改扎附。我們通過spark配置來修改其配置文件路徑蔫耽。在$SPARK_HOME/conf/spark-defaults.conf中添加：
spark.jars.ivySettings /home/mvpboss1004/.ivy2/ivysettings.xml
# add a package
spark.jars.packages org.apache.spark:spark-streaming-kafka-0-10-assembly_2.12:3.0.0
2. ivy2配置文件中添加鏡像源
修改之前指定的ivysettings.xml文件，如不存在則新建留夜。增加：
<ivysettings>
<settings defaultResolver="chain"/>
<resolvers>
<chain name="chain">
<ibiblio name="huaweicloud" root="https://mirrors.huaweicloud.com/repository/maven" m2compatible="true"/>
<ibiblio name="central" m2compatible="true"/>
</chain>
</resolvers>
</ivysettings>
這里的華為云也可以換成阿里云匙铡、阿里云等鏡像源。
3. 測試
運行pyspark碍粥。如下所示鳖眼，最后一行"found *** in huaweicloud"可以確認下載源已經(jīng)換成了華為云。
Python 3.6.8 (default, Apr 2 2020, 13:34:55)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-39)] on linux
Type "help", "copyright", "credits" or "license" for more information.
:: loading settings :: file = /home/mvpboss1004/.ivy2/ivysettings.xml
Ivy Default Cache set to: /home/mvpboss1004/.ivy2/cache
The jars for the packages stored in: /home/mvpboss1004/.ivy2/jars
:: loading settings :: url = jar:file:/usr/share/spark-3.0.0-bin-hadoop2.7/jars/ivy-2.4.0.jar!/org/apache/ivy/core/settings/ivysettings.xml
org.apache.spark#spark-streaming-kafka-0-10-assembly_2.12 added as a dependency
:: resolving dependencies :: org.apache.spark#spark-submit-parent-d8756840-be94-4d96-8c99-a4b319f7b26c;1.0
confs: [default]
found org.apache.spark#spark-streaming-kafka-0-10-assembly_2.12;3.0.0 in huaweicloud
