Spark簡介
Spark已經(jīng)成為一個很熱門的數(shù)據(jù)分析和計(jì)算工具癣诱，它支持多種語言（Java匿沛，python，scala须板，R）碰镜，而spark本身是由scala編寫而成的，所以推薦第一次接觸spark使用scala來編寫spark程序习瑰，支持度比較高.
Build Tool
跟Java的maven一樣绪颖，scala可以使用SBT（Simple Build Tool）來構(gòu)建build項(xiàng)目結(jié)構(gòu)，SBT名字上叫做一種“簡單的構(gòu)建工具”甜奄，其實(shí)個人覺得對新手并不是十分簡單柠横，可能是大家都習(xí)慣了Maven的方式吧. SBT具體的文檔介紹可以自行參考SBT文檔
SBT Multi-project 簡單配置
在實(shí)際項(xiàng)目當(dāng)中窃款，大家都可能碰到多個項(xiàng)目放在一個目錄下，需要獨(dú)立運(yùn)行牍氛，且各個子項(xiàng)目之間通過lib包依賴的情況晨继，SBT也支持這種工程的build，下面簡單介紹下如何定義目錄結(jié)構(gòu)和build文件：
SBT工程目錄結(jié)構(gòu)
可以按如下方式創(chuàng)建一個完整的工程目錄：
- test-project/build.sbt： 是主工程根目錄下的build文件搬俊，可以將主工程的包信息放在里面紊扬，一般來說最簡單的sbt build環(huán)境就是只有根目錄下的build文件，參考內(nèi)容下：
name := "test-project"
version := "1.0"
scalaVersion := "2.10.6"
- test-project/project/build.scala: 每個根目錄/project目錄下可以放置一個build.sbt或者build.scala文件（SBT支持兩種后綴方式的文件悠抹，具體可以參考SBT文檔，這里不展開介紹）扩淀，里面定義所有模塊或者項(xiàng)目的build方式（包含主工程和子工程）楔敌，所有build.scala里的內(nèi)容在根目錄下的build.sbt（也就是test-project/build.sbt）里面都是可見的，參考內(nèi)容如下：
import sbt._
object MainProjectBuild extends Build {
val sparkCore = "org.apache.spark" %% "spark-core" % "1.6.1" % "provided"
val sparkHive = "org.apache.spark" %% "spark-hive" % "1.6.1" % "provided"
val env = Option(System.getProperty("env")).getOrElse("dev")
lazy val root = Project(
id = "root",
base = file(".")
) aggregate(project1, project2, project3) settings(libraryDependencies ++= Seq(sparkCore, sparkHive))
lazy val project1 = Project(
id = "project1",
base = file("project1")
) dependsOn(project2, project3) settings(libraryDependencies ++= Seq(sparkCore, sparkHive))
lazy val project2= Project(
id = "project2",
base = file("project2"),
) settings(libraryDependencies ++= Seq(sparkCore, sparkHive))
lazy val project3 = Project(
id = "project3",
base = file("project3")
) settings(libraryDependencies ++= Seq(sparkCore, sparkHive))
}
定義一個MainProjectBuild繼承Build類驻谆，假設(shè)我們有三個子project卵凑，project1依賴2,3才能生成，root-project通過aggregate來指定并行生成三個子項(xiàng)目胜臊，每個子項(xiàng)目target下都會產(chǎn)生一個package勺卢，而project1通過dependsOn指定了project2，project3作為其依賴的一部分象对，每當(dāng)project1編譯的時候黑忱，必須先編譯project2，project3勒魔，并且把2,3的代碼作為project1的classpath一部分甫煞，然后project1才能編譯，這樣工程之間就實(shí)現(xiàn)了依賴冠绢，同時又維持了project2抚吠，project3包的獨(dú)立性
- test-project/project1/build.sbt： 各個子項(xiàng)目的包定義信息，具體如下所示：
organization := "test.p1"
name := "test-project-one"
version := "1.0"
scalaVersion := "2.10.5"
test-project/project2/build.sbt 和 test-project/project3/build.sbt都是一樣的配置弟胀，這樣每個子項(xiàng)目生成包名字信息都是根據(jù)其目錄下的build.sbt來指定的.
