目錄
[toc]
版本
- Scala 版本：2.11.8
- spark 版本：spark-2.4.4-bin-hadoop2.7.tgz
一死姚、創(chuàng)建Scala 工程
1. 創(chuàng)建maven 項(xiàng)目
打開Intellij ,File->new project
只需第一次添加包雀，以后創(chuàng)建項(xiàng)目可以直接跳過該步驟
圖中參數(shù)設(shè)置參考：scala 工程創(chuàng)建相關(guān)設(shè)置
2. 選擇模板
3. 填寫工程相關(guān)信息
4. 修改scala 版本號
項(xiàng)目創(chuàng)建完成饵溅，打開pom 文件，修改scala 版本號善榛，盡量和本地scala 版本或集群上服務(wù)器版本保持一致
5. 刪除測試依賴
6. 刪除多余行
注：這行具體干啥的不太清楚渐苏，有知道的麻煩留言告知，不勝感激
7. 刪除測試代碼
Qnkf4s.png
上述步驟完成后写穴，運(yùn)行src 目錄下的App 下的，控制臺出現(xiàn)"Hello Word!"即完成了scala 工程的創(chuàng)建雌贱。
二啊送、添加Spark 相關(guān)jar 包
1. 下載spark jar 包
從官網(wǎng)下載spark 相關(guān)jar 包：http://spark.apache.org/downloads.html
偿短，我這里用的是 【spark-2.4.4-bin-hadoop2.7.tgz】，下載到本地解壓
2. 添加spark jar 包
添加完成后的項(xiàng)目格式如圖馋没，主要包含兩大sdk: Spark sdk昔逗、Scala sdk
3. 測試spark項(xiàng)目
運(yùn)行如下代碼：
val spark = SparkSession
.builder()
.master("local")
.appName("Spark SQL Example")
.config("spark.some.config.option","some-value")
.getOrCreate()
import spark.implicits._
val df = spark.read.json("D:\\apache\\spark-2.4.4-bin-hadoop2.7\\examples\\src\\main\\resources\\people.json")
df.show()
df.printSchema()
可以打印出文件內(nèi)容即代表spark項(xiàng)目搭建成功。
另：本地未配置hadoop的話篷朵，日志中可能會(huì)出現(xiàn)如下錯(cuò)誤提示纤子，不過不影響spark 項(xiàng)目運(yùn)行，只不過無法通過web 界面的4040 端口查看程序運(yùn)行情況款票，要想修復(fù)該錯(cuò)誤控硼，可以在windows 本地安裝hadoop。
