Spark 是用scala語(yǔ)言實(shí)現(xiàn)的定嗓，專(zhuān)為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎蒿讥。
安裝scala
- 所需文件 :
- scala-intellij-bin-2016.3.9.zip
- hadoop2.6
- test1.txt
本文默認(rèn)是idea已經(jīng)可以打開(kāi)其他maven項(xiàng)目運(yùn)行了囚聚。如果你還沒(méi)有打開(kāi)過(guò)其他項(xiàng)目，或者沒(méi)有配置過(guò)JDK,Maven,SVN...請(qǐng)轉(zhuǎn)去 [idea打開(kāi)maven項(xiàng)目]（http://www.reibang.com/writer#/notebooks/15779596/notes/16214599/preview）
-
1. 在idea中配置plugin懊烤，安裝scala
- 1.1 file->settings->plugins->右側(cè)面板選擇install plugins from disk,選擇
scala-intellij-bin-2016.3.9.zip 所在路徑,安裝后restart idea
- 1.1 file->settings->plugins->右側(cè)面板選擇install plugins from disk,選擇
scala插件安裝
- 1.2 file->Project Structure->libraries->點(diǎn)擊右側(cè)面板磅崭，左上方的+紅色按鈕，配置
Scala SDK麦箍，默認(rèn)會(huì)彈出選擇Scala jdk 2.10漓藕。
Scala SDK
- 1.3如果彈出框顯示nothing to show，則選擇download ->2.10.6挟裂，等待下載完成后享钞，選擇相應(yīng)版本。(等好久 ╮(￣▽?zhuān)?╭)
- 配置完成后话瞧，截圖如下：
Scala SDK配置成功
-
2.配置hadoop
新增系統(tǒng)變量 HADOOP_HOME: hadoop2.6的文件路徑嫩与，如：
HADOOP_HOME: D:\hadoop2.6
-
3.檢驗(yàn)是否成功安裝
在spcp-spark項(xiàng)目中，找到HDFSTest.scala 交排，修改一下代碼中測(cè)試文件（test1.txt）的路徑划滋。然后在代碼內(nèi)，run HDFSTest,控制臺(tái)打印數(shù)據(jù)埃篓，則成功安裝
修改test1.txt路徑
