0x00 安裝
- 安裝IntelliJ IDEA,并激活
- 安裝Spark力试,JDK1.8(Spark2.4.3 與 jdk12版本有兼容問題,降級為jdk8版本可以解決), scala, sbt(一個(gè)類似于maven厦幅,npm等的scala版本的包管理工具)
0x01 項(xiàng)目配置
參考這篇文獻(xiàn):http://dblab.xmu.edu.cn/blog/1492-2/ 版本有所區(qū)別瓣距。
包依賴
大多數(shù)時(shí)候可以簡單的通過編輯項(xiàng)目根目錄下的build.sbt
文件中的libraryDependencies
設(shè)置項(xiàng)列出需要的依賴,語法如下:
libraryDependencies += groupID % artifactID % revision
某残,其中groupID
, artifactID
和revision
都是字符串国撵。
example:
name := "SparkTest"
version := "0.1"
scalaVersion := "2.12.8"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.4.3"
此處掉坑:注意%%
與%
的區(qū)別,通過%%
玻墅,sbt能夠幫你找到合適的版本介牙,而%
需要人工指明版本。
tips: view -> Tool Windows -> sbt 打開sbt澳厢,當(dāng)build.sbt文件修改后环础,可以點(diǎn)擊刷新按鈕方便更新包依賴,此外允許Enable auto-import
可以在build.sbt文件修改后實(shí)現(xiàn)自動(dòng)更新剩拢。