我以近十天的編譯Spark的痛苦經(jīng)歷侧纯，來分享一下如何在國內(nèi)快速的完成Spark編譯。
其實甲脏，唯一的任務(wù)就是將Spark中的默認maven中央倉庫地址眶熬，替換成國內(nèi)的maven倉庫地址（我用的是阿里云的）。如果你能翻墻块请，那就不用浪費時間看下去了娜氏。
以下提及的spark均為2.11版本。
修改如下：
- 采用maven編譯spark：
build/mvn -DskipTests clean package
那么墩新，spark會默認下載apache-maven-3.3.9的maven版本來下載依賴包贸弥。
修改maven的配置文件spark/build/apache-maven-3.3.9/conf/settings.xml，添加阿里云倉庫鏡像地址：
<mirror>
<id>central</id>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
- 采用sbt編譯spark：
build/sbt package
那么海渊，spark會默認下載0.13.16的sbt版本(spark/project/build.properties中配置版本號)
并且绵疲，會在用戶目錄下哲鸳，創(chuàng)建.sbt/目錄。
進入該目錄最岗，創(chuàng)建repositories文件帕胆，添加以下內(nèi)容：
[repositories]
local
central: http://maven.aliyun.com/nexus/content/groups/public/
typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
sonatype-oss-releases
sonatype-oss-snapshots
注意: maven地址對應的名稱，一定要是central０愣伞＠帘！否則驯用，sbt依舊會使用默認的中央倉庫的地址
- 修改IsolatedClientLoader#downloadVersion中maven倉庫地址
打開IsolatedClientLoader.scala文件脸秽，找到downloadVersion()函數(shù)：
···
val classpath = quietly {
SparkSubmitUtils.resolveMavenCoordinates(
hiveArtifacts.mkString(","),
SparkSubmitUtils.buildIvySettings(
Some("http://www.datanucleus.org/downloads/maven2"),
ivyPath),
exclusions = version.exclusions)
}
···
把some()里面的url地址替換為阿里云倉庫地址。
這個問題在[SPARK-19836]以及pr#16803中有提出蝴乔，但最終都沒有給出好的解決方案记餐。所以，這個問題遺留至今薇正。
- 修改SparkSubmit#createRepoResolvers的中maven倉庫地址
打開SparkSubmit.scala文件片酝，找到createRepoResolvers()函數(shù)：
// the biblio resolver resolves POM declared dependencies
val br: IBiblioResolver = new IBiblioResolver
br.setM2compatible(true)
br.setUsepoms(true)
br.setName("central")
cr.add(br)
val sp: IBiblioResolver = new IBiblioResolver
sp.setM2compatible(true)
sp.setUsepoms(true)
sp.setRoot("http://dl.bintray.com/spark-packages/maven")
sp.setName("spark-packages")
cr.add(sp)
添加：
br.setRoot("http://maven.aliyun.com/nexus/content/groups/public/
")
以及，替換sp.setRoot()中的地址為阿里云的倉庫地址挖腰。
在build test的過程雕沿，VersionSuite會用到這幾個地址。在我使用阿里云的地址之前猴仑，曾N多次一整個晚上阻塞在這個Suite上审轮，最終放棄。
5.修改SparkBuild#L218的maven倉庫地址
// Override SBT's default resolvers:
resolvers := Seq(
DefaultMavenRepository,
Resolver.mavenLocal,
Resolver.file("local", file(Path.userHome.absolutePath + "/.ivy2/local"))(Resolver.ivyStylePatterns)
),
替換DefaultMavenRepository為：
Resolver.url("central", url("http://maven.aliyun.com/nexus/content/groups/public/")),
同樣的辽俗，url的名稱必須為central
備注：
- 在上述修改完成之后疾渣，在dev/run-tests執(zhí)行過程中，到了'Detecting binary incompatibilities with MiMa'的步驟崖飘，可能還有問題榴捡，例如：
[error] (mllib-local/*:mimaPreviousClassfiles) sbt.ResolveException: unresolved dependency: org.scala-lang#scala-reflect;2.11.4: not found
[error] (mllib/*:mimaPreviousClassfiles) sbt.ResolveException: unresolved dependency: org.scala-lang#scalap;2.11.0: not found
[error] (streaming-kafka-0-10/*:mimaPreviousClassfiles) sbt.ResolveException: unresolved dependency: log4j#log4j;1.2.15: not found
[error] (core/*:mimaPreviousClassfiles) sbt.ResolveException: unresolved dependency: org.scala-lang#scalap;2.11.0: not found
[error] (sql/*:mimaPreviousClassfiles) sbt.ResolveException: unresolved dependency: org.scala-lang#scalap;2.11.0: not found
[error] (streaming/*:mimaPreviousClassfiles) sbt.ResolveException: unresolved dependency: org.scala-lang#scalap;2.11.0: not found
[error] (graphx/*:mimaPreviousClassfiles) sbt.ResolveException: unresolved dependency: org.scala-lang#scalap;2.11.0: not found
[error] Total time: 114 s, completed 2018-1-7 16:02:17
[error] running /Users/wuyi/workspace/spark/dev/mima -Phadoop-2.6 -Pkubernetes -Phive-thriftserver -Pflume -Pkinesis-asl -Pyarn -Pkafka-0-8 -Phive -Pmesos ; received return code 1
解決辦法：手動的下載對應jar包的pom文件，放到.m2/repositroy本地倉庫中朱浴。
這個可能與第5步的修改有關(guān)吊圾，目前還不清楚。
阿里云maven倉庫有可能出現(xiàn)沒有對應jar包的情況赊琳，此時也需要手動把jar包拷貝到本地倉庫中街夭。
如果你需要向spark提交pr砰碴，那么躏筏，請記得chekout -- 剛剛被修改的幾個源碼文件。
