閱讀源碼的第一步是下載Spark源碼蒋荚，并導(dǎo)入到工具中閱讀。
下載
- 進(jìn)入http://spark.apache.org/downloads.html頁(yè)面司恳，點(diǎn)擊箭頭連接即可下載Spark3.0源碼物遇。download
- 安裝Maven，需要安裝Maven 3.6以上的版本娘赴。
- 安裝Scala2.12.10+规哲，Spark3.0需要使用2.12.10以上的版本。
調(diào)整pom.xml
-
修改根目錄下的pom.xml文件诽表，將googleapis倉(cāng)庫(kù)給注釋掉
googleapis-1
googleapis-2
如果是在windows下唉锌，需要將spark-core項(xiàng)目的pom.xml文件中的antrun-plugin插件修改下，如下圖
將bash修改成cmd竿奏。antrun-plugin
編譯
可以直接導(dǎo)入到IDEA中進(jìn)行編譯袄简，也可以直接在控制臺(tái)進(jìn)行編譯，如控制臺(tái)：
- 進(jìn)入spark界面的跟目錄
- 執(zhí)行maven編譯命令mvn compile/package泛啸；如果需要跳過(guò)測(cè)試绿语，使用命令：mvn compile/package -Dmaven.test.skip=true
- 經(jīng)過(guò)漫長(zhǎng)地等待（取決于網(wǎng)絡(luò)），Spark將編譯完成候址。
