1.intellJ下載
http://www.jetbrains.com/idea/
安裝华坦,下一步即可
2.sbt安裝
http://www.scala-sbt.org/download.html
下一步安裝完后,配置
#download location
-Dsbt.boot.directory=D:/sbt/boot/
-Dsbt.ivy.home=D:/sbt/ivy/
-Dhttp.proxyHost=proxy.zte.com.cn
-Dhttp.proxyPort=80
-Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256m
在命令行中執(zhí)行sbt命令植兰,下載依賴jar包。 由于網(wǎng)絡(luò)的問題,可能導(dǎo)致有些jar包下載失敗,所以多執(zhí)行幾次澈魄。之后就可以新建工程 了。
修改D:\sbt\bin\sbtsbt-launch.jar仲翎,用360壓縮打開修改覆蓋
還需要綁定intelli SBT
3.scala 安裝
http://www.scala-lang.org/download/
下一步
scala -version 驗(yàn)證
4.集成上面三個(gè)
在intellJ plugins界面痹扇,可以點(diǎn)擊右上角search ->plugins
安裝對(duì)應(yīng)的scala 和sbt插件
網(wǎng)絡(luò)可能有問題,是必須有問題溯香。
http://plugins.jetbrains.com/plugin/?id=1347
進(jìn)行手工安裝
5.創(chuàng)建sbt-scala項(xiàng)目
(1)建立方式: file -> new -> project -> Scala-> SBT 選擇jdk SBT scala版本鲫构,下面的復(fù)選框可以默認(rèn)
(2)建立目錄結(jié)構(gòu)
在工程根目錄下建立如下結(jié)構(gòu)的目錄:
src/main/scala
src/main/Java
src/test/scala
src/test/java
File -> Project Structure -> Modules 將src/main/java&scala設(shè)為souce目錄,把src/test/java&scala設(shè)為test目錄逐哈。
于是芬迄,sbt工程就建立好了,可以在里面添加代碼文件了昂秃。
object HelloWorld {
def main(args: Array[String]): Unit = {
println("Hello world")
}
}
5.spark 運(yùn)行
需要在windwows解壓hadoop包禀梳,然后配置HADOOP_HOME環(huán)境變量。
再把下面鏈接中的winUtils.exe 放入到hadoop 的bin目錄肠骆。
https://github.com/srccodes/hadoop-common-2.2.0-bin
import org.apache.spark.{SparkConf, SparkContext}
object HelloWord {
def main(args :Array[String]): Unit ={
if(args.length==0){
System.err.println("參數(shù)錯(cuò)誤 K阃尽!蚀腿!")
System.exit(1)
}
System.setProperty("hadoop.home.dir", "D:\\hadoop-2.7.1");
//創(chuàng)建一個(gè)scala版本的
val conf =new SparkConf().setAppName("wordCount").setMaster("local")
val sc=new SparkContext(conf)
val input =sc.textFile(args(0))
val words =input.flatMap(line => line.split(" "))
val counts=words.map(word => (word,1)).reduceByKey{case(x,y) => x + y }
counts.collect().foreach(println)
}
}
6.注意版本問題嘴瓤,不然報(bào)錯(cuò)
scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;
hadoop 2.7
spark 1.4
scala 2.10