上了數(shù)據(jù)挖掘的課凿宾，要寫結(jié)課論文了矾屯。于是選擇了Spark作為自己的課程主題，也是為自己之后的畢業(yè)論文打下知識基礎(chǔ)初厚，這里將自己的第一試驗(yàn)記錄下來问拘，以便之后的回顧。
1.環(huán)境配置
這是我的開發(fā)環(huán)境：
- Windows 10
- 阿里云（Centos 7.3）
- spark-2.2.0-bin-hadoop2.7（scala-compiler-2.11.8.jar）
- Scala 2.12.4（這個需要跟spark-2.2.0-bin-hadoop2.7中Scala的編譯版本一樣才會執(zhí)行成功惧所，之后會看到報(bào)錯骤坐，所以這個改為Scala 2.11.8）
2.配置Spark的運(yùn)行環(huán)境（Linux）
重點(diǎn)：Spark的版本一定要注意和Scala的版本相對應(yīng)，不然出現(xiàn)的錯誤會千奇百怪的下愈，請謹(jǐn)慎安裝纽绍，具體的對應(yīng)安裝版本無法詳細(xì)，在這里只能給出自己嘗試過的安裝版本
安裝的環(huán)境的前提是要安裝JDK（建議是1.8）势似，因?yàn)镾park程序是運(yùn)行在JVM上的拌夏，安裝Spark只需要將壓縮包解壓即可僧著。（這是我見過的最簡單的安裝啦啦啦）下面的是安裝后的Spark目錄：
可以利用命令行寫Spark項(xiàng)目，可以利用Python和Scala語言寫（建議使用Scala）障簿，使用./spark-shell 進(jìn)入編寫的入口：
配置免密鑰登錄
第一步：使用下面的命令生成密鑰
$ ssh-keygen -t rsa
如果之前的生成的密鑰的話盹愚，在這里可以不用生成。
第二步：復(fù)制公鑰文件
進(jìn)入/root/.ssh/ 目錄站故，如果沒有authorized_keys 文件皆怕，可以先創(chuàng)建一個此文件。
$ cat id_rsa.pub >> authorized_keys
第三步：修改authorized_keys文件的權(quán)限
$ chmod 600 authorized_keys
第四步：驗(yàn)證ssh服務(wù)
$ ssh localhost
執(zhí)行上述命令如果沒有輸入密碼就可以登錄就說明成功了！
3.Intellij IDEA上安裝Scala插件和新建項(xiàng)目（Windows）
下面是網(wǎng)友項(xiàng)目的插件安裝方法和新建簡單的Scala項(xiàng)目，搬過來給大家看看蔬浙，鏈接如下：
下面是我新建Scala項(xiàng)目的目錄結(jié)構(gòu)圖：
重點(diǎn)：在
build.sbt文件中添加libraryDependencies的版本問題，這也是依賴版本要對應(yīng)的問題虱黄，后面會介紹利用Maven管理依賴，這樣會方便多了吮成。
4.編寫第一個Spark程序
這是非常重要的一步：編寫spark程序時需要提前將Scala的SDK添加到Global Libraries,如下圖所示：
新建Scala的class類：
添加依賴（官方介紹）：
可以像這樣定義一個依賴橱乱，其中 groupId， artifactId 和 revision 都是字符串：
libraryDependencies += groupID % artifactID % revision
或者像這樣粱甫， 用字符串或者 Configuration val 當(dāng)做 configuration：
libraryDependencies += groupID % artifactID % revision % configuration
方法 % 從字符串創(chuàng)建 ModuleID 對象仅醇，然后將 ModuleID 添加到 libraryDependencies 中。
當(dāng)然魔种，要讓 sbt（通過 Ivy）知道從哪里下載模塊。如果你的模塊和 sbt 來自相同的某個默認(rèn)的倉庫粉洼，這樣就會工作节预。例如，Apache Derby 在標(biāo)準(zhǔn)的 Maven2 倉庫中：
libraryDependencies += "org.apache.derby" % "derby" % "10.4.1.3"
不推薦使用這用手動添加依賴的方式属韧，推薦使用Maven管理依賴的方法安拟，請往下面看。
5.將Spark程序打包（Jar包）
打包設(shè)置選項(xiàng)：
打包參數(shù)設(shè)置：1.選擇主函數(shù)宵喂；2.選擇只打包Scala程序
在Build 中選擇Build Artifacts 后選擇build即可打包成功
選擇build 糠赦，然后等待打包結(jié)束
打包的jar包的位置：
將jar包利用XFtp工具上傳到Spark運(yùn)行環(huán)境（對應(yīng)程序運(yùn)行地址）：
6.將Jar包上傳至Spark運(yùn)行環(huán)境并啟動和運(yùn)行
啟動Spark運(yùn)行環(huán)境需要依次執(zhí)行下面三個命令：
在執(zhí)行了master進(jìn)程和worker進(jìn)程后，可以執(zhí)行curl 127.0.0.1:8080 得到Spark Master at spark://MJ:7077 锅棕，注意這個地址每個機(jī)器上都是不一樣的拙泽，注意區(qū)分一下。
Spark Master at spark://MJ:7077
#啟動master進(jìn)程
./sbin/start-master.sh
#啟動worker進(jìn)程
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://MJ:7077
#提交作業(yè) master后面的地址通過localhost:8080得到 class后面的是自己的項(xiàng)目的名稱和對應(yīng)jar包的地址
./bin/spark-submit --master spark://MJ:7077 --class WordCount /home/MJ/spark/hellospark.jar
7.查看Spark運(yùn)行的結(jié)果
提交作業(yè)之后裸燎，可以查看作業(yè)運(yùn)行的結(jié)果：
8.構(gòu)建Maven管理Spark項(xiàng)目
首先是New Project 項(xiàng)目選擇Maven顾瞻，JDK選擇最好是1.8+，然后點(diǎn)擊next：
新建項(xiàng)目之后的目錄結(jié)構(gòu)是這樣的：
把其中的java和test文件夾都重新命名為scala文件夾德绿，如下圖
右鍵項(xiàng)目名出現(xiàn)Add Frameworks support 荷荤，并選擇scala：
選擇之后退渗，然后新建一個Package 包文件夾，最后就是新建scala文件
新建一個Main 文件蕴纳，打印出hello spark! 字樣
添加必要的關(guān)于Spark的pom 文件会油，點(diǎn)擊添加Group: org.apache.spark
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.2.1</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.2.1</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-hive -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-hive_2.11</artifactId>
<version>2.2.1</version>
</dependency>
9.可能出現(xiàn)的問題
出現(xiàn)這種情況是由于在IDEA和Linux中安裝的Scala版本不一樣，把兩者選擇成一樣的就會編譯通過古毛。
http://blog.csdn.net/u013054888/article/details/54600229
進(jìn)入/usr/local/spark-2.2.0-bin-hadoop2.7/jars 找到Scala編譯的版本號：
在IDEA中的Project Structure中選擇對應(yīng)的Scala版本：
出現(xiàn)下面錯誤：
exception in thread main org.apache.spark.sparkexception:A master URL must be set in your..
從提示中可以看出找不到程序運(yùn)行的master翻翩，此時需要配置環(huán)境變量。
傳遞給spark的master url可以有如下幾種：
local 本地單線程
local[K] 本地多線程（指定K個內(nèi)核）
local[*] 本地多線程（指定所有可用內(nèi)核）
spark://HOST:PORT 連接到指定的 Spark standalone cluster master喇潘，需要指定端口体斩。
mesos://HOST:PORT 連接到指定的 Mesos 集群，需要指定端口颖低。
yarn-client客戶端模式 連接到 YARN 集群絮吵。需要配置 HADOOP_CONF_DIR。
yarn-cluster集群模式 連接到 YARN 集群忱屑。需要配置 HADOOP_CONF_DIR蹬敲。
點(diǎn)擊edit configuration，在左側(cè)點(diǎn)擊該項(xiàng)目莺戒。在右側(cè)在右側(cè)VM options中輸入“-Dspark.master=local”伴嗡，指示本程序本地單線程運(yùn)行，再次運(yùn)行即可从铲。從提示中可以看出找不到程序運(yùn)行的master瘪校，此時需要配置環(huán)境變量。
點(diǎn)擊edit configuration名段，在左側(cè)點(diǎn)擊該項(xiàng)目阱扬。在右側(cè)
在右側(cè)VM options中輸入“-Dspark.master=local”
，指示本程序本地單線程運(yùn)行伸辟，再次運(yùn)行即可麻惶。
運(yùn)行成功的結(jié)果：
10.參考資料
http://docs.scala-lang.org/getting-started.html
http://www.reibang.com/p/ecc6eb298b8f
http://www.reibang.com/p/7c0d22847548
http://blog.csdn.net/u012373815/article/details/53266301
http://www.scala-sbt.org/1.x/docs/zh-cn/Library-Dependencies.html
